CUDA DSLは引退へ向かっている——それでいい

スタンフォードのHazy Researchグループは挑発的な見解を示している。CUDA DSLは廃れつつあるというのだ。新しいブログ記事で、彼らはAIエージェントが、ドメイン固有言語が何十年にもわたって担ってきた認知負荷軽減の役割を引き継ぎつつあると論じている。この記事は、メガカーネルを構築した経験に基づいている——最初は手書きのC++抽象化レイヤーを使い、次にプロンプトから直接ターゲット最適化コードを生成するエージェントを使った。

昨年、チームはカスタムC++フレームワークを使ってLLM推論用のメガカーネルを構築した。それは機能したが、苦痛だった。複雑なデータ構造、スレッド間同期、深くネストされた制御フローにより、コードを頭の中で保持するのが難しかった。今年、彼らは抽象化を完全に削除してMixture-of-Expertsメガカーネルを構築した。エージェントが複雑さに直接取り組み、中間レイヤーなしで同等に高速なコードを生成した。

パターンは明確だ。以前は抽象化を必要としたタスク（メガカーネルの記述など）は、今ではエージェントで管理可能になっている。なぜなら、抽象化は慎重に設計されたテンプレートではなく、曖昧な指示としてプロンプト内に存在できるからだ。エージェントは、曖昧な意図を動作するコードに変換するコンパイラとして機能する。メガカーネルの背後にあるアイデアは依然として重要だが、それを表現することはより容易になっている。

抽象化の役割は変化している

著者らは、抽象化の主要な役割——認知負荷軽減として機能すること——が引退しつつあると論じる。エージェントがその役割を引き継いでいる。帰納的に、ThunderKittensのようなCUDA DSLが次のリストに来る。おそらく1年以内に。

しかし、彼らはすべての抽象化が同等に作られているわけではないと慎重に指摘する。抽象化はまた、アプリケーション、再利用、レビューが結びつく共有サーフェスでもある。それがなければ、検証課題のカンブリア爆発が起こる。10チームがThunderKittensを使用すれば同じタイルセマンティクスをテストする。10チームが特注のメガカーネルを生成すれば、10の互いに素な問題セットを持つことになる。

オラクルの問題もある。彼らがフレームワークを削除したとき、参照実装、数値許容差、プロファイリングされた期待値を保持した。それが契約として機能した。レイヤーを引退させられるのは、それを生き延びるオラクルを持っている場合だけだ。

フレームワークが消えたとき、何が残るのか？

この記事は挑発で締めくくられる。プロンプトがスタックのすべてのレイヤーを生成できるなら、コードベースの価値は何か？著者らは、コードベースは正確だが脆く、言語、フレームワーク、慣習に縛られていると示唆する。プロンプトは曖昧だが移植可能だ。エージェントを使えば、不完全な指示を読むインテリジェントな実行器と、すべてのギャップを指定する必要がある愚かな実行器の間で競争が起こる。DSLはその仕様であり、コードベースとして表現される。実行器が愚かでなくなれば、DSLはその根拠を失う。

彼らはリスクを認めている。共有オラクルがないこと、新人への知識伝達がないこと、単一の偏ったサンプルであること。しかし、この変革は避けられないように思われる。私たちが保持するのは、意図、不変条件、テスト、ドメイン知識だ。ライブラリは消えるかもしれないが、知識は蒸発しない。信頼は一段階上がる——私たちは差分ではなく、仕様とオラクルを精査する。実装は使い捨て可能になる。

抽象化は引退する。アイデアは残る。