Cloudflare AI Crawl Control後、AIコンテンツサイトはAIクローラーをブロックすべきか
短い結論
AIクローラーを一括で許可・遮断する前に、どのクローラーがどのページを取得し、引用や流入を返しているかを測り、ページ価値ごとにallow、block、またはpay-per-crawl待ちを決めます。
情報源
- Cloudflare Blog: Introducing Pay Per Crawl, July 1, 2025
- Cloudflare Docs: AI Crawl Control overview, updated Apr 23, 2026
- Cloudflare Docs: Manage AI crawlers, updated Apr 23, 2026
- Cloudflare Docs: What is Pay Per Crawl, updated Apr 23, 2026
- Cloudflare Docs: Pay Per Crawl FAQ, updated Apr 23, 2026
- Cloudflare Docs: managed robots.txt for AI crawlers, updated May 5, 2026
- Cloudflare Blog: New AI traffic options for Search, Agent, and Training crawlers, July 1, 2026
- Cloudflare Blog: Monetization Gateway and x402 early access, July 1, 2026
- Cloudflare Blog: Agentic Internet bot report, July 1, 2026
- AWS: AWS WAF announces AI traffic monetization, June 15, 2026
- Axios: People Inc. CEO on Google search and AI crawler tension, June 23, 2026
いま書く理由
CloudflareはAI Crawl Control、managed robots.txt、allow/block、Pay Per Crawlを実運用の機能として文書化しています。
Pay Per Crawlはallow、charge、blockを分けますが、FAQではcharge対象crawlerに単一価格しか設定できない制約も示されています。
Cloudflareは2026-07-01にAIトラフィックをSearch、Agent、Trainingに分け、2026-09-15以降の新規ドメインでは広告ページでTrainingとAgentを既定でブロックし、Searchは許可すると説明しました。広告やアフィリエイトで運営する小規模サイトに直接関係します。
AWS WAFは2026-06-15にAI traffic monetizationを発表し、HTTP 402、x402、agent identity、intent別価格でAI bot / agentのコンテンツ・APIアクセスを扱う形を示しました。機械による有料アクセスが、出版社交渉だけでなくエッジ設定の話になり始めています。
Axiosの2026-06-23記事は、検索発見とAI利用制限の間で出版社がまだ難しい判断を迫られていることを示しています。
AIクローラー判断表
| 操作 | 向いているページ | 先に確認すること |
|---|---|---|
| Allow | 検索発見、AI引用、既存契約に価値がある公開ページ | referral、引用、ブランド検索、メール登録、アフィリエイトクリック |
| Block | 高頻度に取得されるが商業価値が見えないページ | 検索、プレビュー、監視、提携crawlerへの誤傷 |
| Charge | 商業価値がありAI crawler需要もあるページ | 資格、zone単位価格、成功リクエスト課金、payout条件 |
| 402 / x402 | CloudFront / AWS WAF上で、記事、データfeed、ライセンス済みアーカイブ、APIにagent課金したいページ | agentの支払い対応、Web Bot Auth、wallet/settlement、test mode、標準WAF費用 |
| Search / Agent / Training | 広告、アフィリエイト、検索流入に依存するページ | Search+Trainingの多目的crawlerが最も厳しいルールで止まらないか |
| Managed robots.txt | まず意思表示だけしたいサイト | robots.txtは強制ではない。GSCが新しい指示を警告する場合がある |
| ログ確認 | すべてのサイトの初手 | crawler、パス、状態コード、帯域、cache、referral、conversion |
本文：スイッチを切る前にページを分ける
Cloudflare AI Crawl Controlの価値は可視化です。ドキュメントはcrawler activity、request patterns、robots.txt violations、crawlerごとのallow、block、beta範囲でのchargeを説明しています。勘でrobots.txtを書き換えるより安全な出発点です。
Pay Per Crawlは重要な方向性ですが、保証収入ではありません。Cloudflareは有料アクセスにHTTP 200、未払いには402 Payment Requiredを使う設計を説明しています。サイト所有者はzone単位の価格を設定できますが、資格、crawler参加、価格粒度、実行範囲は別途確認が必要です。
2026-07-01の更新で分類が実務的になりました。Searchは検索や回答のインデックス作成、Agentはユーザーの代わりにリアルタイムで訪問、Trainingはモデル開発にコンテンツを取り込む用途です。Cloudflareは2026-09-15以降、新規ドメインの広告ページでTrainingとAgentを既定でブロックし、Searchは許可する計画です。小規模サイトは、その既定値が自分の発見性と収益化の目的に合うか確認すべきです。
AWS WAFのAI traffic monetizationは別の型です。AI botやagentが保護された記事、データfeed、ライセンス済みアーカイブ、APIを要求すると、エッジで価格、支払い方法、ライセンス条件を含む機械可読のHTTP 402を返せます。agentが支払い証明を提示するとAWS WAFがエッジで検証し、scoped access tokenを発行します。APIやデータ資産の課金に近い発想ですが、agentの支払い対応、身元確認、決済経路、自分のログ検証が前提です。
managed robots.txtは第一層のシグナルに向いています。search、ai-input、ai-trainなどのcontent signalsと、既知AI crawlerへのDisallowを追加できます。ただしrobots.txt遵守は任意で、強制にはAI Crawl Control、WAF、Bot Managementが必要です。
保守的な運営では、ページを検索発見が必要なページ、AI引用は許容するが回報を測りたいページ、取得されたくないページに分けます。ログと転換データなしに全サイトを遮断したり開放したりしないことが重要です。
向いている人
- Cloudflareを使っていて、ログやbotレポートを確認できるサイト運営者。
- 独自チェックリスト、チュートリアル、ツールページ、レビュー、資料ページを持つサイト。
- crawler、referral、アフィリエイトクリック、メール登録、インフラ費を一緒に記録できる人。
- 検索可視性を残しつつ、無償の学習・スクレイピング圧力を下げたい人。
向かない人
- まだコンテンツ資産がなく、crawler課金だけで収益化したい人。
- Googlebot、Bingbot、AI bot、監視bot、提携crawlerを分けて見ない人。
- ロールバックなしで全サイトblockルールをコピーする人。
- Pay Per Crawl、sitemap、IndexNow、robots.txtを収益やランキングの証拠と考える人。
未検証情報
- 本サイトはPay Per Crawlの資格、収益、payout、AI crawler参加率、小規模サイトの成果を検証していません。
- 本サイトはCloudflareの2026-09-15既定設定が新規ドメインの広告ページ、多目的Search+Training crawler、AI引用、検索発見に与える実影響を検証していません。
- 本サイトはAWS WAF AI traffic monetizationの実際のagent支払い量、stablecoin payout、今後のStripe/MPP提供、Web Bot Authの範囲、小規模サイト収益を検証していません。
- Cloudflare plan、WAF/Bot Management設定、cache、流入構成で結果は変わります。
- 大手出版社の交渉力は個人のAIコンテンツサイトにはそのまま適用できません。
- AI crawlerの課金や遮断は、検索順位、引用、広告収益、アフィリエイト収入の改善を保証しません。
リスク
- 検索crawler、プレビューbot、監視bot、提携crawlerを誤って遮断する。
- 402/x402の機械支払いを既定の収益源とみなし、agent互換性、支払い摩擦、wallet決済、税務/コンプライアンス、標準WAF費用を見落とす。
- 早すぎる遮断で引用、ブランド発見、協業の機会を減らす。
- 価値の高いページをAI学習や要約に使われても回報を測れない。
- robots.txtを安全境界と誤解し、無視するscraperを見落とす。
- WAFやbotルール設定後にログを見直さず、誤検知を放置する。
最小テスト
- 商業ページ10件、ツールまたは資料ページ5件、通常記事5件を選びます。
- 14日間、crawler名、リクエスト量、パス、状態コード、帯域、cache hit、referral転換を記録します。
- referralも商業価値もなく異常に多いcrawlerは、全サイトではなくパス単位でblockを試します。
- 価値がありそうなcrawlerはallowのまま、ブランド検索、引用、アフィリエイトクリック、メール登録を別で記録します。
- 広告ページとアフィリエイトページを分けて印を付け、既定のAgent / Trainingブロックが残したいAI検索やプレビュー流入まで減らさないか確認します。
- CloudFront / AWS WAF上のサイトなら、中心ページに課金する前にtest modeで価格、license terms、agent identity、proof of payment、scoped access tokenを検証します。
- 資格がある場合のみPay Per Crawlを評価し、ない場合はmanaged robots.txtと狭いWAFルールから始めます。
撤退シグナル
- ルール変更後に検索クロール、sitemap発見、プレビューカード、監視が壊れる。
- AI crawler負荷はあるが、referral、引用、提携、メール登録、アフィリエイト信号がない。
- ルールが複雑で、どのパスを許可・遮断し、どう戻すか説明できない。
- crawler収入の可能性のために速度、canonical、広告体験、読みやすさを犠牲にする。
- AI crawlerを止めれば流入、順位、収益が戻ると断言する教材やツールを信じる。
FAQ
小規模サイトは今Pay Per Crawlを有効化すべきですか？
標準回答にはしないでください。資格、crawler需要、現在のreferral価値、コンテンツの商業価値を確認してから小さく試します。
CloudflareのSearch / Agent / Training分類はなぜ重要ですか？
検索発見、ユーザー主導のagent訪問、モデル学習を分けて考えられるからです。広告ページ、アフィリエイトページ、資料ページを確認し、学習目的を止める一方で有用な発見やユーザー訪問を消さないようにします。
robots.txtでAI crawlerを止められますか？
主に意思表示です。遵守は任意なので、強制にはAI Crawl Control、WAF、Bot Managementが必要です。
AI crawlerをブロックするとGoogle検索に影響しますか？
広すぎるルールやcrawler判定の誤りがあると影響し得ます。ログを見て、狭い範囲から試してください。
次の一手
crawler判断表を作り、crawler名、パス、リクエスト量、robots.txt挙動、referral価値、ページ価値、推奨操作、戻し方を記録します。