ペアデータなしの埋め込み翻訳：セキュリティへの警鐘

コーネル大学などの研究者による新しいarXiv論文は、異なるモデルのベクトル空間間でテキスト埋め込みを翻訳する教師なし手法を紹介している。ペアデータも、エンコーダも、事前定義されたマッチングも不要だ。この研究は、ニューラルモデルが現実の共有された普遍的な表現に収束するというプラトン的表現仮説に基づいている。

この手法は、任意の埋め込みを普遍的な潜在空間にマッピングし、そこからターゲットモデルの空間に出力する。異なるアーキテクチャ、パラメータ数、トレーニングデータを持つモデルのペア間で、翻訳は高いコサイン類似度を達成する。言い換えれば、埋め込みの幾何学は私たちが想定していたよりも普遍的であり、それには暗い側面がある。

ベクトルデータベースへのセキュリティ影響

著者らは、埋め込みベクトルにのみアクセスできる攻撃者が、それらを自分が制御する空間に翻訳し、分類と属性推論を実行して、基盤となるドキュメントに関する機密情報を抽出できることを実証している。これは、元のテキストの代替として埋め込みをベクトルデータベースに保存する一般的な慣行に対する直接的な脅威である。

埋め込みが教師なしでモデル間で翻訳できるのであれば、それらを不透明で安全な表現として扱うことはもはや有効ではない。この論文は、幾何学が意味を漏洩させるという実用的な証明である。

エンジニアにとってこれが重要な理由

RAGパイプライン、セマンティック検索、または埋め込みを保存するシステムを構築している人にとって、これは埋め込みが暗号化されたブロブではないというリマインダーである。それらは、適切なツールでデコードできるセマンティックコンテンツを運んでいる。

良い面としては、翻訳によりクロスモデルの相互運用性が可能になる可能性がある。例えば、小さなモデルの埋め込みを大きなモデルのレトリーバーで使用するなどだ。しかし、セキュリティ上のトレードオフは現実的であり、過小評価されている。