AIスクレイパー戦争激化：レジデンシャルプロキシネットワークがオープンウェブを食い尽くす

LWN.netは、ウェブサイト運営者とAIスクレイパーボットの間で続く戦争に関する詳細なアップデートを公開した。ジョナサン・コーベットによるこの記事は、厳しい現実を描いている：スクレイピング問題は収まるどころか、悪化している。2025年初頭の厄介事から始まったものは、今やオープンウェブへの本格的な攻撃へと発展し、従来のIPブロックをほぼ無効にするレジデンシャルプロキシネットワークに支えられている。

レジデンシャルプロキシの仕組み

スクレイパー攻撃は現在、数百万のユニークなIPアドレスから発生し、それぞれがサイトに数回アクセスしただけで消える。これらのアドレスは、中央制御ノードによって管理されるレジデンシャルおよびモバイルネットワークから来ている。多くの場合、所有者の知らないうちに一般のデバイスにインストールされたソフトウェアが、要求に応じてページを取得し、データをコントローラーに転送する。これが「レジデンシャルプロキシ」と呼ばれるものだ。

これらのネットワークを運営する事業者には主に2種類ある。1つ目は純粋に犯罪的なもの：マルウェアがメディアストリーミングボックスを含むデバイスを侵害し、ボットネットを構築する。Googleは今年初め、そのようなネットワークの1つであるIPIDEAを摘発し、LWNへのスクレイパートラフィックを一時的に減少させた。最近では、NetNutと呼ばれるボットネットがFBIとの連携で妨害された。

2つ目はより陰湿なもの：Bright Dataのような企業は「倫理的に調達された」レジデンシャルプロキシを提供している。彼らは無料のVPNサービスや、アプリ開発者が埋め込めるSDKを提供し、実質的にユーザーのデバイスをスクレイピングエンドポイントに変える。これらの事業者はGDPR準拠を主張するが、結果は同じだ——あなたのスマートフォンは、あなたが一度も訪れたことのないウェブサイトに対する武器となる。

なぜブロックが機能しないのか

ボットは画像やCSSを取得しないため、識別は可能だが——識別した時にはIPは消えている。ブロックは無駄だ。大手フロンティアモデル企業（OpenAI、Googleなど）は、識別可能なユーザーエージェント文字列で自らスクレイピングを行い、robots.txtを尊重するが、それでもサイトを繰り返し叩く。本当の被害は匿名プロキシトラフィックから来ており、その顧客は不明のままである。

LWNは強力な防御策を実装しているが、明らかな理由から詳細は明かさない。Anubisのようなプルーフ・オブ・ワークツールは、スクレイパーがその作業をプロキシ軍団にオフロードできるため、採用を避けている。また、支配的な検索エンジンを許可リストに追加することも避けており、それは独占を強化するだけだからだ。

軍拡競争は続く

摘発のたびに一時的な小康状態が訪れるが、新しいネットワークが現れる。GoogleのPlayストアは現在、NetNutに感染したアプリをチェックしているが、より大きな疑問——なぜアプリストアがプロキシウェアの配布をこれほど容易にするのか——は未回答のままである。LLMの背後にある業界が最低限の倫理基準に拘束されるまで、サイト運営者は勝ち目のない防御戦を戦い続けるだろう。