Cloudflareのアトリビューションビジネスインサイト：AIボットを暴くクロール対リファラル比率

Cloudflareは新たなダッシュボード「Attribution Business Insights」をリリースした。これはAIクローリングの壊れた経済性に真っ向から挑むものだ。目玉機能は、ボット運営者ごとのクロール対リファラル比率。どのクローラーが帯域を搾取し、どれが実際にトラフィックを送っているかが痛いほど明確になる。

かつてのインターネットの取引は単純だった。検索エンジンは、送り返すリファラル1件につきサイトを数回クロールする。それが持続可能な比率だ。しかしCloudflareのデータによると、主要なAIクローラーの比率は118:1からなんと50,000:1近くにまで及ぶ。つまり、AIボットはプレミアムコンテンツを数万回取得しても、送り返す訪問者はたった1人かもしれない。これはパートナーシップではなく、搾取だ。

このダッシュボードは、Cloudflare Bot Managementの全顧客が利用可能で、ノイズを排除する。ボット対人間のトラフィック、サイト全体および運営者ごとのクロール対リファラル比率（24時間/7日/30日）、帯域使用量と発信国を含むボリューム上位のボット、そしてクローラーを「Training」「Search」「Agent」に分類する新システムを表示。これにより、クローラーがLLMを訓練しているのか、RAGデータベースを更新しているのか、それともエンドユーザーのクエリにリアルタイムで応答しているのかがわかる。

ここでの重要な洞察は、Cloudflareがアクション面と分析面を意図的に分離していることだ。Attribution Business Insightsはビジネス意思決定者のための読み取り専用ハブであり、セキュリティルールを記述する場所ではない。ここで調査し、既存のSecurityルールエンジンで実行する。これは賢い関心の分離であり、セキュリティ以外の関係者（出版社、ビジネスオペレーション）を会話に参加させつつ、コントロールプレーンを乱雑にしない。

Cloudflareはまた、次回リリース予定の記事ごとの内訳を示唆している。これにより、AI企業がどの特定コンテンツに最も飢えているかがわかる。これは分析をライセンス交渉のレバレッジに変える粒度だ。

Cloudflareの背後でコンテンツサイトを運営していて、まだクロール対リファラル比率を確認していないなら、目隠し飛行をしているようなものだ。このダッシュボードは、あなたが欠いていた計器盤である。