Desert Ant Labs、クラウドAPIより高速かつ低コストな18のオンデバイスモデルを発表

欧州のAIラボであるDesert Ant Labsは、音声・視覚・テキスト向けの18の専門オンデバイスモデルを携えてローンチした。売り文句はシンプルだ。コンシューマーハードウェア上でミリ秒単位で動作し、推論あたりのコストはゼロ。開発者はトークン使用量の請求書を気にすることなく、あらゆるインタラクションにインテリジェンスを組み込める。

モデルはSwift、Kotlin、JavaScript向けの単一SDKでアクセス可能。注目すべきモデルは以下の通り：

• Voz：iPhone上で10分の音声を2秒で文字起こし。Whisperより4.7倍高速で、単語レベルのタイムスタンプ付き。
• Clear：9MBのモデルで、5分の録音を1秒でスタジオ品質に向上。
• Redact：27言語でPIIをリアルタイムにマスキング。12MBのモデルで個人データの88.8%を捕捉—2.3GBのGLiNER-PIIモデルの91.1%に迫る。
• Tongue：2MBのモデルで3語から84言語を識別。精度0.933は、293MBの検出器の0.887を上回る。

同社の創業の経緯は、動画アプリDetailに根ざしている。そこではクラウドAPIのコストが人気に比例して膨らんだ。彼らはDolbyやClaude Sonnetといったクラウドサービスを置き換えるため、自社モデルを訓練した。例えばClipsモデルは、10分の動画を12のクリップに5秒で変換。Sonnetより10倍高速で470倍省エネ、品質は同等だと主張する。

Desert Ant Labsは、業界のAIワークロードの多くがフロンティアモデルを必要としないと論じる。NVIDIAの調査を引用し、エージェント呼び出しの40〜70%は小型の専門モデルで処理可能だと指摘。また、ユーザーの手元にあるコンピューティングリソースにも注目する。毎年10億台以上のスマートフォンが高性能チップを搭載して出荷されている一方、今年データセンターに4500億ドルが費やされている。

同社のロードマップには、タスクを適切なモデルにルーティングする「cortex」レイヤーが含まれる。ローカル優先、クラウドは必要な場合のみ。モデルは月間アクティブデバイス10万台まで無料で、トークンやログインは不要。