MetaのStable Signature、基本的な統計的現実チェックに失敗

MetaのStable Signatureは、AIベースの不可視透かしシステムであり、統計的な約束を果たせていないとして最新の批判を受けている。独立研究者のDr. Neal Krawetz（Hacker Factor）は、実世界での偽陽性率が公表された主張よりも桁違いに悪く、Meta自身がオープンソース化したコードを実際には使用していない可能性さえ示す実証分析を公開した。

主張と現実

Stable Signatureは、ニューラルネットワークを使用して画像に48ビットの透かしをエンコードし、偽陽性率を10⁻⁶（100万分の1）未満と謳っている。このアルゴリズムは、検出されたビット列が既知の署名と一致するかどうかを判断するためにハミング距離に依存している。Metaの論文は、48ビットが独立して一様に分布していると仮定しており、これにより衝突は天文学的に稀になるはずである。

Krawetzは、FotoForensicsから無作為に選んだ10,000枚の画像に対してStable Signatureのデコーダを実行してテストした。結果は壊滅的だった：

• まったく無関係な25枚の画像が、まったく同じ48ビット署名を共有していた——これは、ランダムな試行では281兆回に1回しか発生しないはずの衝突である。
• ハミング距離の閾値を6ビット（Metaは7を使用）に設定した場合、1つのクラスターに450枚の画像が含まれていた——データセット全体の4.5%に相当する。
• その閾値で、10枚以上の画像を持つクラスターが60以上見つかった。

なぜ失敗するのか

根本的な原因は、基本的な統計的誤解にある。Metaの論文は、48の出力ビットが独立していると仮定しているが、これらは単一のニューラルネットワークによって生成されている。ニューラルネットワークは本質的に依存関係のある出力を生成する——画像を非線形多様体上に写像し、アトラクタとリペラを持つため、48ビット空間にクラスターと空隙が生じる。つまり、ビットはランダムなコイン投げではなく、ネットワークの学習された構造によって偏っているのである。

Krawetzはまた、Meta自身のプラットフォーム（Facebook、Instagram、WhatsApp）からの画像がどのクラスターにも現れなかったことにも言及しており、MetaがGitHubで公開したStable Signatureコードを実際には展開していない可能性を示唆している。

業界全体で繰り返されるパターン

これは、独立したテストに失敗した3番目の主要なAI透かしシステムである。GoogleのSynthIDは、真陽性率が主張する99.97%ではなく、約20分の1であることが判明した。AdobeのTrustMarkは10〜20%の偽陽性率を示し、認証には事実上役に立たない。これら3つのシステムすべてに共通する欠陥は、ニューラルネットワークの出力がランダムな独立ビットのように振る舞うと仮定しているが、実際にはそうではないことである。

「Stable Signatureの透かしが見えた場合、それは実際の署名ではなく、ほぼ間違いなくランダムノイズである。」——TrustMarkに関する研究者の結論を言い換えたもので、ここでも同様に当てはまる。

その影響は深刻である。AI生成コンテンツの透かしが、来歴と真正性のための信頼メカニズムとして機能するためには、これらのアルゴリズムは敵対的および統計的検証に耐えられなければならない。現在のアプローチは目的に適していない。