Cloudflareの新AIトラフィック分類：検索、エージェント、トレーニング——そして新デフォルト設定

Cloudflareは、AIボット制御をより細分化した分類法にアップデートし、クローラーを検索、エージェント、トレーニングの3つの行動カテゴリに分ける。この動きは、同社が初めてウェブサイト運営者に「AIボットをブロック」のワンクリックオプションと、クロールごとの課金マーケットプレイスを提供してから1年後に行われた。本日発表された新システムは、Freeティアユーザーを含むすべてのCloudflare顧客に適用される。

なぜ変更するのか？

従来のAIボットに対するオール・オア・ナッシングのアプローチはもはや適切ではない。ウェブサイト運営者は、コンテンツを恒久的にモデルに吸収するトレーニングクローラーをブロックしつつ、リファラルトラフィックを生む検索ボットは許可したいと考えている。また、リアルタイムエージェント（ChatGPT-Userやブラウザ使用エージェントなど）をバッチクローラーとは別に扱う必要もある。Cloudflareの新しい分類は、サイト運営者にその粒度を提供することを目的としている。

3つのカテゴリ

検索: 後でクエリに答えるためにコンテンツをインデックスするボット。サイト運営者は見返りとしてリファラルトラフィックまたは報酬を期待すべきである。
エージェント: 個人に代わって行動するリアルタイムの自動化動作——チャットフェッチボット、ブラウザ使用エージェント。多くの場合、人間が相手側で待機している。
トレーニング: モデルのトレーニングや微調整のためにコンテンツを取得するクローラー。データはAIのアーキテクチャに恒久的に吸収される。

Cloudflareは、ボット運営者がクローラーを目的別に分離することを強く推奨しており、サイト運営者が透過的にアクセスを管理できるようにする。多目的クローラー（例：Googlebot、Applebot、BingBot）は、該当するすべてのカテゴリに分類される。

2026年9月15日からの新デフォルト設定

Cloudflareに新たにドメインをオンボーディングする場合、広告を表示するページではデフォルトでトレーニングボットとエージェントボットがブロックされる。検索ボットはデフォルトで許可されたままとなる。その根拠は、広告掲載ページは人間の注意が収益化の目標であることを示しており、トレーニング/エージェントボットはそれを妨害するからである。一方、検索は訪問者をサイトに呼び戻す。

検索とトレーニングを組み合わせた多目的クローラーは、最も制限の厳しいルールの対象となる——つまり、サイトがトレーニングをブロックする場合、Googlebot（両方を行う）は完全にブロックされる。既存の顧客は、期限前にセキュリティ設定からこれらのデフォルトをオプトアウトできる。

BotBase：エンタープライズ向け可視性

エンタープライズBot Managementの顧客には、BotBaseという新しいダッシュボード機能が提供される。これは、既知の検証済みボットとエージェントのすべてを行動分類とともに検索可能なデータベースである。ボットによるフィルタリング、セキュリティルールで使用する検出IDのコピーが可能で、将来的には自動化トラフィック管理のコントロールセンターとなる。

分類には、取引、データ収集、セキュリティテスト、SEO、広告検証、ソーシャル/リンクプレビュー、フィード取得、監視・運用などの追加行動も含まれるが、現在すべての顧客が設定可能なのは3つのAIカテゴリ（検索、エージェント、トレーニング）のみである。

「私たちは、自動化トラフィックの世界の進化に合わせてスケーラブルで代表的な分類システムを望んでいます。」

このアップデートは、より広範な業界の変化を反映している。AIはもはや単一の脅威ベクトルではなく、サイト運営者は単なるブロックオールスイッチではなく、外科的な制御を必要としている。