lumabri: 巨大MoEモデルをピアの群れ全体で実行、純C実装

lumabriは、巨大な混合エキスパート（MoE）モデル向けの分散推論クラスタに、普通のマシンの群れを変える新しいオープンソースプロジェクトだ。依存関係のない純Cで書かれたcolibriエンジン上に構築されており、1台のマシンがモデルを共有し、他のどのマシンでもチャットできる——事前ダウンロードもGPUも不要だ。

中核となる仕掛けは、open、pread、opendirなどのlibc呼び出しをインターセプトするLD_PRELOADシム（liblumabri.so）だ。ファイルは実際のサイズのスパースなローカルミラーとして見えるため、エンジンの通常のファイル操作が機能する。欠落したブロックは初回使用時にピアから取得されローカルにキャッシュされるため、以降の読み取りはローカルディスクからフルスピードで行われる。FUSEも、読み取りパス上のデーモンもない。

MoEモデルの場合、チャッターは高密度重み、ルーター、KVキャッシュのみを保持する。ルーティングされた各エキスパートの4KB活性化は、そのエキスパートの重みを保持するピアに送信される。エキスパートの重みがチャッターに届くことはない。両側は同じエンジンソースから構築されるため、ローカル実行と分散実行でバイト単位で同一のトークンが生成される。

信頼性は慎重に扱われる。各メンテナーはMiBごとにsha256を計算し、登録時に送信する。オリジンはその真実をオフラインのed25519キーで署名する。チャッターは自分が保持するキーに対してすべてのブロックを検証する。リモート計算の場合、LUMABRI_VERIFY=Nはエキスパート呼び出しのNパーセントを2番目のレプリカで再実行し、同一の出力を要求する。不一致があれば実行は停止する。

サポートされているエンジンには、OLMoE、GLM、Inkling、Kimi K3、DeepSeek V4があり、それぞれにエンジン固有のエキスパートノードがある。このプロジェクトは、ローカル実行と分散実行の間でビット単位で同一のトークンを主張しており、GLMのエキスパート処理の実際のバグを検出したテストによって証明されている。

デプロイは簡単だ：サーバー上でmake、次にlumabri serve --model /path/to/model、クライアント上でlumabri chat --tracker <server-ip>:7300 --engines-dir /path/to/colibri/cを実行する。ディスクと計算のドナーは簡単なコマンドで参加する。X25519/Ed25519とChaCha20-Poly1305によるオプションの暗号化も利用できる。