Cloudflare AI Crawl Control 后，AI 内容站要不要阻止 AI 爬虫？
一句话结论
小内容站不要简单地全部放行或全部封锁 AI 爬虫；先用日志和 AI Crawl Control 看清谁在抓、抓什么、带不带引用或流量，再按页面价值决定 allow、block 或等待 pay-per-crawl。
来源链接
- Cloudflare Blog: Introducing Pay Per Crawl, July 1, 2025
- Cloudflare Docs: AI Crawl Control overview, updated Apr 23, 2026
- Cloudflare Docs: Manage AI crawlers, updated Apr 23, 2026
- Cloudflare Docs: What is Pay Per Crawl, updated Apr 23, 2026
- Cloudflare Docs: Pay Per Crawl FAQ, updated Apr 23, 2026
- Cloudflare Docs: managed robots.txt for AI crawlers, updated May 5, 2026
- Cloudflare Blog: New AI traffic options for Search, Agent, and Training crawlers, July 1, 2026
- Cloudflare Blog: Monetization Gateway and x402 early access, July 1, 2026
- Cloudflare Blog: Agentic Internet bot report, July 1, 2026
- AWS: AWS WAF announces AI traffic monetization, June 15, 2026
- Axios: People Inc. CEO on Google search and AI crawler tension, June 23, 2026
为什么今天值得写
Cloudflare 文档在 2026 年继续把 AI Crawl Control、managed robots.txt、crawler allow/block 和 Pay Per Crawl 放到可操作产品里，说明 AI 内容站的爬虫管理已经从概念变成后台操作。
Pay Per Crawl 把 allow、charge、block 三种动作放在同一框架下，但 FAQ 也限制了细节，例如当前收费价格不是按不同 crawler 分别设置。
Cloudflare 2026-07-01 又把 AI 流量拆成 Search、Agent、Training 三类，并宣布 2026-09-15 起新接入域名的广告页默认阻止 Training 和 Agent、保留 Search，这会直接影响靠广告或联盟变现的小内容站。
AWS WAF 在 2026-06-15 发布 AI traffic monetization，提出用 HTTP 402、x402、agent 身份和意图差异定价来管理 AI bot / agent 对内容和 API 的访问，说明机器付费访问正在从出版商谈判走向边缘网关配置。
Axios 2026-06-23 报道 People Inc. 对 Google 同一 crawler 同时服务搜索和 AI 的公开不满，说明内容站仍面临“要搜索发现，还是要限制 AI 使用”的现实取舍。
AI 爬虫决策表
| 动作 | 适合什么页面 | 先核验什么 |
|---|---|---|
| Allow | 希望被搜索、AI 助手引用或已有授权关系的公开页面 | 是否带来 referral、引用、品牌搜索、邮件订阅或联盟点击 |
| Block | 高成本抓取、无引用、无流量、训练价值高但商业回报不清的页面 | 是否会误伤搜索抓取、重要 bot、缓存、监控或合作方 |
| Charge | 有清楚商业价值、被大量 AI crawler 消耗、并愿意测试付费访问的内容 | Pay Per Crawl 资格、单一区域价格、成功请求计费和 payout 口径 |
| 402 / x402 | 用 CloudFront / AWS WAF 承载、希望让 agent 为文章、数据 feed、授权档案或 API 付费的页面 | agent 是否支持付款、Web Bot Auth、钱包/结算、测试模式和标准 WAF 成本 |
| Search / Agent / Training | 已放广告、联盟链接或需要保留搜索发现的页面 | 是否误把 Search+Training 多用途 crawler 一起阻断；9 月默认策略是否符合你的站点目标 |
| Managed robots.txt | 先表达偏好但还不想写 WAF 规则的站点 | robots.txt 只是偏好声明，不是技术拦截；GSC 对新指令可能有提示 |
| 日志观察 | 所有内容站第一步 | 按 crawler、路径、状态码、带宽、缓存命中、referral 和转化记录 |
正文内容：AI 内容站要先分层，而不是先开关
Cloudflare AI Crawl Control 的价值不是告诉你一键变现，而是把 AI crawler 从黑盒变成可观察对象。文档说明站点可以查看 crawler activity、request patterns、robots.txt violations，并对单个 crawler 采取 allow、block 或在 beta 范围内 charge 的动作。对 AI 内容站来说，这比凭感觉改 robots.txt 更可靠。
Pay Per Crawl 的方向很重要，但不能写成现成收入。Cloudflare 的实现思路是：AI crawler 成功访问内容时用 HTTP 200，未付费时返回 402 Payment Required；站点可以设置 zone 级价格，Cloudflare 处理技术和结算。但当前仍有资格、价格粒度、crawler 参与意愿和执行覆盖的问题。
2026-07-01 的新变化是分类粒度更细：Search 是为了建立搜索或答案索引，Agent 是代表用户实时完成任务，Training 是拿内容训练或微调模型。对广告页来说，Cloudflare 计划在 2026-09-15 后默认拦截 Training 和 Agent、允许 Search；但多用途 crawler 可能被最严格规则影响，所以小站必须先确认自己是否愿意接受这个默认值。
AWS WAF 的 AI traffic monetization 给了另一条路径：当 AI bot 或 agent 请求受保护内容、数据 feed、授权档案或 API 时，边缘层可以返回机器可读的 HTTP 402，里面包含价格、支付方式和许可条款；agent 提交付款证明后，AWS WAF 在边缘验证并发放 scoped access token。这个方向更接近 API/数据资产收费，但仍依赖 agent 支持付款、身份验证、结算通道和站点自己的日志复核。
managed robots.txt 适合做第一层声明：它可以加入 search、ai-input、ai-train 这类 content signals，并为常见 AI crawler 写入 Disallow。但 Cloudflare 文档也提醒，robots.txt 遵守是自愿的；如果你要技术执行，还要用 AI Crawl Control、WAF 或 Bot Management。
最保守的内容站策略是先把页面分成三类：需要搜索发现的公开页、可以被 AI 引用但希望看到回报的核心页、以及不适合被抓取的素材页或内部页。没有日志和转化数据前，不要因为一个新闻热点就全站封锁，也不要因为可能收费就全站开放。
适合人群
- 已经用 Cloudflare、能查看日志或 bot 报表的内容站站长。
- 有原创清单、教程、工具页、评测或资料库，担心 AI 抓取成本的人。
- 愿意把 crawler、referral、联盟点击、邮件订阅和服务器成本一起记录的人。
- 希望保留搜索可发现性，同时降低无回报训练抓取的人。
不适合人群
- 还没有稳定内容资产，只想靠 AI 爬虫收费赚钱的人。
- 不愿检查 Googlebot、Bingbot、AI bot、监控 bot 和合作方 crawler 差异的人。
- 准备复制别人规则，一键阻止所有 bot，却没有回滚方案的人。
- 把 Pay Per Crawl、sitemap、IndexNow 或 robots.txt 当成已收录、已排名或已变现的人。
未验证信息
- 本站没有验证 Cloudflare Pay Per Crawl 的申请资格、实际收入、payout 周期、AI crawler 参与率或对小站的收益。
- 本站没有验证 Cloudflare 2026-09-15 新默认策略对新域名广告页、Search+Training 多用途 crawler、AI 引用或搜索发现的实际影响。
- 本站没有验证 AWS WAF AI traffic monetization 的真实 agent 付款量、稳定币 payout、Stripe/MPP 后续可用性、Web Bot Auth 覆盖率或小内容站收入。
- 不同 Cloudflare plan、WAF/Bot Management 配置、缓存规则和流量结构会影响执行效果。
- People Inc. 等大型出版商的授权谈判能力不能直接套用到个人 AI 内容站。
- 阻止或收费 AI crawler 不代表搜索排名、AI 引用、广告收益或联盟收入会改善。
风险提示
- 误封搜索 crawler、预览 bot、监控 bot 或合作方 crawler，导致发现、预览或监控异常。
- 把 402/x402 机器付款当成默认收入来源，却忽略 agent 兼容性、支付摩擦、钱包结算、税务/合规和标准 WAF 成本。
- 过早全站封锁，减少潜在引用、品牌发现和合作线索。
- 过度开放高价值内容，让训练、RAG 或摘要消耗内容价值但不给回流。
- 把 robots.txt 当成强制安全边界，忽视不遵守规则的 scraper。
- 配置 WAF 或 bot 规则后没有日志复查，长期误伤重要路径。
最小测试方案
- 先选 20 个页面：10 个核心商业页、5 个工具或资料页、5 个普通文章页。
- 用 14 天日志记录 AI crawler 名称、请求量、路径、状态码、带宽、缓存命中和来源转化。
- 对无 referral、无合作价值、抓取量异常的 crawler 先做路径级 block 测试，而不是全站封锁。
- 对可能有引用或商业价值的 crawler 保持 allow，并单独记录品牌搜索、引用、联盟点击和邮件订阅。
- 把带广告或联盟链接的页面单独标出来，检查 2026-09-15 默认阻止 Agent / Training 后是否会误伤你希望保留的 AI 搜索或预览流量。
- 如果站点本来就在 CloudFront / AWS WAF 上，先用测试模式验证价格、license terms、agent 身份、付款证明和 scoped access token，不要直接对核心页面收费。
- 如果符合资格再评估 Pay Per Crawl；没有资格时先用 managed robots.txt + WAF 记录偏好和执行效果。
止损信号
- 封锁后搜索抓取、sitemap 发现、预览卡片或监控开始异常。
- AI crawler 消耗明显，但没有 referral、引用、合作、邮件订阅或联盟点击。
- 规则复杂到你无法解释哪些路径允许、哪些路径阻止、如何回滚。
- 为了追逐潜在爬虫收入，开始牺牲页面速度、canonical、广告体验或用户可读性。
- 工具、课程或教程承诺阻止 AI crawler 就能恢复流量、排名或收入。
FAQ
小内容站应该现在开启 Pay Per Crawl 吗？
不要把它当成默认答案。先确认你是否有资格、内容是否有被抓取价值、当前 crawler 消耗和真实 referral，再小范围测试。
Cloudflare 的 Search / Agent / Training 分类对小站有什么影响？
它把“搜索发现”“代表用户行动”和“训练模型”分开处理。小站应重点检查广告页、联盟页和核心资料页，避免为了挡训练抓取而误伤搜索发现或真实用户触发的 agent 访问。
robots.txt 能阻止 AI crawler 吗？
robots.txt 主要表达偏好，遵守是自愿的。Cloudflare 文档建议如果要强制执行，需要配合 AI Crawl Control、WAF 或 Bot Management。
阻止 AI crawler 会影响 Google 搜索吗？
需要谨慎。不同 crawler 的用途和识别方式不同，尤其是搜索发现和 AI 使用之间可能有冲突；先用日志和小范围规则验证，不要直接全站封锁。
下一步
先做一张 crawler 决策表：crawler 名称、路径、请求量、是否遵守 robots.txt、是否带来 referral、页面价值、建议动作和回滚方式。