エミリー・ベンダーが語る「確率的オウム」：ChatGPT時代においてもなお有効な批判

ワシントン大学の計算言語学者エミリー・ベンダーは、2021年の論文「確率的オウムの危険性について」を共同執筆した——この批判は驚くほど時を経ても色褪せない。IEEE Spectrumとの最近のインタビューで、彼女はこの用語が実際に何を意味するのかを明確にし、特にChatGPTや他のLLMがテクノロジー業界を席巻する中でその意義を語る。

この論文の核心的な主張は、大規模言語モデルは本質的に「確率的オウム」であるというものだ。つまり、訓練データからパターンを確率的につなぎ合わせてもっともらしいテキストを生成するが、意味や真実の理解は一切伴わない。ベンダーは、これは単なる哲学的な揚げ足取りではなく、現実世界に影響を及ぼすと強調する。これらのモデルが自信満々でありながら事実誤認した発言をすると、ユーザーを誤解させ、訓練データに存在するバイアスを増幅し、偽情報の武器として悪用される可能性がある。

ベンダーはまた、「確率的オウム」という用語が単なる侮辱であるというよくある誤解にも言及する。彼女は、これは正確な技術的記述であり、モデルはテキスト内の統計的相関に依存しており、いかなる推論や世界との接地も行わないと説明する。この区別は重要であり、LLMに何ができて何ができないかについて現実的な期待を設定する。それらは「考える」機械ではなく、洗練されたテキスト生成装置である。

インタビューでは、ChatGPTのような製品へのLLMの急速な採用にも触れられており、ベンダーはこれによって当初の警告がさらに緊急性を増したと主張する。彼女は、業界がこれらのモデルを展開する際に、有害なコンテンツの生成、訓練データの記憶によるプライバシー侵害、膨大な計算リソースによる環境コストといった文書化された害悪を無視することが多いと指摘する。

LLM上に構築するエンジニアへのベンダーのメッセージは明確だ。これらのシステムを信頼性の低い情報源として扱い、厳格な検証を必要とすること。擬人化せず、意図や知識があると思い込まないこと。「確率的オウム」というレッテルは、出力が統計的な模倣であり、知性の兆候ではないということを思い出させる。

IEEE Spectrumの完全なインタビューでは、ベンダーの現在の考えと論文の継続的な関連性についてより深く掘り下げている。LLMを本番環境で使用または展開するすべての人にとって必読の内容だ。