Tras Cloudflare AI Crawl Control, ¿debe un sitio de contenido IA bloquear crawlers?
Respuesta corta
No trates a los crawlers IA como un interruptor único. Primero mide quién rastrea qué páginas, si trae citas o referrals y cuánto cuesta; luego decide allow, block o esperar pay-per-crawl según valor de página.
Fuentes
- Cloudflare Blog: Introducing Pay Per Crawl, July 1, 2025
- Cloudflare Docs: AI Crawl Control overview, updated Apr 23, 2026
- Cloudflare Docs: Manage AI crawlers, updated Apr 23, 2026
- Cloudflare Docs: What is Pay Per Crawl, updated Apr 23, 2026
- Cloudflare Docs: Pay Per Crawl FAQ, updated Apr 23, 2026
- Cloudflare Docs: managed robots.txt for AI crawlers, updated May 5, 2026
- Cloudflare Blog: New AI traffic options for Search, Agent, and Training crawlers, July 1, 2026
- Cloudflare Blog: Monetization Gateway and x402 early access, July 1, 2026
- Cloudflare Blog: Agentic Internet bot report, July 1, 2026
- AWS: AWS WAF announces AI traffic monetization, June 15, 2026
- Axios: People Inc. CEO on Google search and AI crawler tension, June 23, 2026
Por qué vale la pena ahora
Cloudflare documenta AI Crawl Control, managed robots.txt, allow/block y Pay Per Crawl como controles operativos para sitios.
Pay Per Crawl separa allow, charge y block, pero su FAQ también muestra límites como un único precio para crawlers configurados en Charge.
El 01/07/2026, Cloudflare separó el tráfico IA en Search, Agent y Training, y dijo que desde el 15/09/2026 los dominios nuevos bloquearán Training y Agent en páginas con anuncios por defecto, mientras Search queda permitido.
AWS WAF anunció AI traffic monetization el 15/06/2026, con HTTP 402, x402, identidad de agentes y precios por intención para gestionar acceso de bots/agentes IA a contenido y APIs. El pago máquina-a-máquina empieza a parecer una configuración de edge, no solo una negociación editorial.
La discusión de People Inc. reportada por Axios el 23/06/2026 muestra la tensión entre descubrimiento en buscadores y limitar uso IA.
Tabla de decisión para crawlers IA
| Acción | Mejor uso | Verifica antes |
|---|---|---|
| Allow | Páginas públicas donde búsqueda, citas IA o acuerdos pueden ayudar | Referrals, citas, búsqueda de marca, emails o clics afiliados |
| Block | Rastreo costoso sin referral, cita o valor comercial claro | Daño a buscadores, previews, monitoreo o partners |
| Charge | Contenido valioso con demanda real de crawlers IA | Elegibilidad, precio por zone, cobro por respuestas exitosas y payout |
| 402 / x402 | Páginas en CloudFront / AWS WAF donde agentes podrían pagar por artículos, feeds de datos, archivos licenciados o APIs | Soporte de pago del agente, Web Bot Auth, wallet/settlement, modo test y costo WAF estándar |
| Search / Agent / Training | Páginas con anuncios, afiliados o dependencia de búsqueda | Si un crawler mixto Search+Training queda bloqueado por la regla más estricta |
| Managed robots.txt | Sitios que quieren expresar preferencia antes de reglas duras | robots.txt es señal, no bloqueo fuerte |
| Revisión de logs | Primer paso para cualquier sitio | Crawler, ruta, status, ancho de banda, cache, referral y conversión |
Desglose: segmenta páginas antes de tocar interruptores
Lo útil de Cloudflare AI Crawl Control es la observabilidad. La documentación habla de crawler activity, request patterns, robots.txt violations y acciones por crawler como allow, block o, dentro del beta, charge. Es mejor base que editar robots.txt por intuición.
Pay Per Crawl importa, pero no es ingreso confirmado. El modelo usa HTTP 200 para acceso exitoso pagado y 402 Payment Required cuando se requiere pago. El sitio puede fijar precio por zone, pero elegibilidad, participación de crawlers, granularidad de precio y cobertura de enforcement siguen siendo variables.
La actualización del 01/07/2026 añade una taxonomía más útil: Search crea un índice de búsqueda o respuestas, Agent visita en tiempo real por un usuario y Training incorpora contenido al desarrollo del modelo. Para páginas con anuncios, Cloudflare planea bloquear Training y Agent por defecto en dominios nuevos desde el 15/09/2026, dejando Search permitido. Un sitio pequeño debe validar si ese default encaja con su descubrimiento y monetización.
AWS WAF AI traffic monetization propone otra ruta. Cuando un bot o agente IA pide contenido protegido, un feed de datos, un archivo licenciado o una API, el edge puede devolver un HTTP 402 legible por máquina con precio, métodos de pago y términos de licencia. Después del proof of payment, AWS WAF verifica en el edge y emite un scoped access token. Esto se parece más a monetizar APIs o datos, pero depende de soporte de pago del agente, verificación de identidad, rails de settlement y revisión propia de logs.
Managed robots.txt es buena primera señal. Puede incluir content signals como search, ai-input y ai-train, además de Disallow para crawlers conocidos. Pero robots.txt es voluntario; la ejecución técnica requiere AI Crawl Control, WAF o Bot Management.
Un operador conservador divide páginas en tres grupos: páginas que necesitan descubrimiento en búsqueda, páginas que pueden ser citadas por IA pero deben mostrar retorno, y páginas que no deberían rastrearse. Sin logs y datos de conversión, no bloquees ni abras todo el sitio por una noticia.
Para quién encaja
- Operadores de sitios de contenido que usan Cloudflare o pueden revisar logs y reportes bot.
- Sitios con checklists, tutoriales, páginas herramienta, reviews o recursos originales.
- Equipos dispuestos a medir crawler, referral, afiliación, emails y costo de infraestructura juntos.
- Publicadores que quieren conservar descubrimiento en búsqueda y reducir scraping sin retorno.
Para quién no
- Principiantes sin activo de contenido que esperan crear ingresos con fees de crawler.
- Quienes no separan Googlebot, Bingbot, bots IA, bots de monitoreo y crawlers partner.
- Quienes copiarán una regla de bloqueo total sin plan de rollback.
- Quienes tratan Pay Per Crawl, sitemap, IndexNow o robots.txt como prueba de ranking o ingresos.
Información no verificada
- No verificamos elegibilidad, ingresos, payouts, participación de crawlers IA ni retorno para sitios pequeños.
- No verificamos cómo el default de Cloudflare del 15/09/2026 afectará páginas con anuncios de dominios nuevos, crawlers mixtos Search+Training, citas IA o descubrimiento en buscadores.
- No verificamos volumen real de pagos de agentes, payouts en stablecoins, disponibilidad futura de Stripe/MPP, cobertura de Web Bot Auth ni ingresos de sitios pequeños con AWS WAF AI traffic monetization.
- El plan de Cloudflare, WAF/Bot Management, cache y mezcla de tráfico pueden cambiar resultados.
- El poder de negociación de grandes publishers no se copia a un sitio IA individual.
- Cobrar o bloquear crawlers IA no prueba mejora de rankings, citas, anuncios o afiliación.
Riesgos
- Bloquear por error crawlers de búsqueda, previews, monitoreo o partners.
- Tratar pagos 402/x402 como ingreso por defecto e ignorar compatibilidad de agentes, fricción de pago, wallets, impuestos/compliance y cargos WAF estándar.
- Bloquear demasiado pronto y perder citas, marca o señales de colaboración.
- Dejar páginas valiosas abiertas para entrenamiento o resúmenes sin retorno medible.
- Tratar robots.txt como frontera de seguridad cuando algunos scrapers lo ignoran.
- Crear reglas WAF o bot y no revisar logs por falsos positivos.
Prueba mínima
- Elige 20 páginas: 10 comerciales, 5 herramientas o recursos y 5 artículos normales.
- Durante 14 días registra crawler, solicitudes, ruta, status, ancho de banda, cache hit y referral conversion.
- Para crawlers sin valor y volumen anormal, prueba bloqueo por ruta antes de bloqueo total.
- Mantén allow para crawlers con posible valor y mide marca, citas, afiliación y emails aparte.
- Etiqueta por separado páginas con anuncios y afiliados, y revisa si los bloqueos default de Agent / Training también reducen tráfico IA de búsqueda o previews que sí quieres conservar.
- Si el sitio ya usa CloudFront / AWS WAF, valida precio, license terms, identidad del agente, proof of payment y scoped access token en modo test antes de cobrar por páginas núcleo.
- Evalúa Pay Per Crawl solo si eres elegible; si no, usa managed robots.txt y reglas WAF estrechas.
Señales de parada
- Se rompen crawling de búsqueda, sitemap, previews o monitoreo tras cambiar reglas.
- Hay carga de crawlers IA pero sin referral, cita, partnership, email ni afiliación.
- Las reglas son tan complejas que no puedes explicar rutas, acciones y rollback.
- Sacrificas velocidad, canonical, experiencia de anuncios o legibilidad por posible ingreso crawler.
- Un curso o herramienta promete que bloquear crawlers IA recuperará tráfico, ranking o ingresos.
FAQ
¿Un sitio pequeño debe activar Pay Per Crawl ahora?
No por defecto. Confirma elegibilidad, demanda de crawlers, valor actual de referral y valor comercial del contenido antes de una prueba pequeña.
¿Por qué importa la separación Search / Agent / Training?
Porque separa descubrimiento en búsqueda, visitas de agentes activadas por usuarios y entrenamiento de modelos. Revisa páginas con anuncios, afiliados y recursos para no eliminar tráfico útil mientras bloqueas uso de entrenamiento.
¿robots.txt puede bloquear crawlers IA?
Principalmente expresa preferencia. El cumplimiento es voluntario; para enforcement necesitas AI Crawl Control, WAF o Bot Management.
¿Bloquear crawlers IA puede afectar Google Search?
Sí si la regla es amplia o identificas mal crawlers. Empieza con logs y reglas estrechas, no con un bloqueo total.
Siguiente paso
Crea una hoja de decisión: crawler, ruta, solicitudes, comportamiento robots.txt, valor referral, valor de página, acción propuesta y rollback.