Cactus Hybrid：間違いを自覚するオンデバイスモデル

Cactus Hybridは、エッジAIにおける永続的な問題に対する実用的な答えだ。小型モデルは高速でプライベートだが、幻覚を見たり、静かに失敗したりする。Cactusチームは、コンパクトなチェックポイントを後処理学習させ、回答ごとに構造化された信頼度スコア（0～1）を出力させる。これはテキストから解析するのではなく、モデル自身の第一級の出力として行われる。ロジックは極めてシンプルだ：

if confidence < 0.85:
    answer = ask_a_bigger_model(prompt)

ラインナップの最初のモデルであるGemma 4 E2B Hybridは、Hugging Faceで入手可能。Cactusによると、ほとんどのベンチマークでGemini 3.1 Flash-Liteに匹敵し、クエリの15～35％のみをその大規模モデルにルーティングする。残りはオンデバイスで処理される。

仕組み

信頼度プローブは、後処理学習中にチェックポイントに組み込まれる。これは、表面レベルのパターンではなく、モデルの隠れ状態からモダリティに依存しない正しさのシグナルを読み取る。証拠：このプローブは、ゼロの音声データで学習されたにもかかわらず、4つの音声ベンチマークで0.79～0.88のAUROCを達成している。これは記憶によるものを排除し、プローブがモデルの回答が正しいかどうかを真に測定していることを示唆している。

Cactusは、4つの推論エンジン向けのコピペ用クイックスタートを提供している：

• Cactus（ネイティブPythonバインディング）
• MLX（Apple Silicon）
• Transformers（Hugging Face、注意点あり：プローブがモジュールのフォワードパスの外部で実行されるため、device_map="auto"は避けること）
• llama.cpp（エンジンへの1回限りのパッチが必要）

すべてのコードスニペットはMITライセンス。Gemmaモデル自体はGoogleの利用規約に従う。

ベンチマーク：ハンドオフ率

以下の表は、異なる量子化レベルでGemini 3.1 Flash-Liteの精度に一致させるために、クエリのどの程度をハンドオフする必要があるかを示している：

3ビット量子化では、特にChartQAとMMLU-Proでハンドオフ率が急上昇しており、プローブの信頼度シグナルが過度な圧縮によって劣化することを示唆している。