AIお絵描き対決：GPT-5.6 Sol、色鉛筆アートでClaude・Gemini・Grokを圧倒

TryAI.devが構築したお絵描きアリーナでは、各モデルに真っ白なキャンバスと色鉛筆ツール一式（set_color、set_brush、set_pressure、draw、smudge、erase、view_canvas）が与えられ、あとは見守るだけ。モデルは目標画像（モナ・リザ、星月夜）を再現するか、テキストプロンプトから描画する。完全なテスト環境はgithub.com/hershalb/canvas-arenaで公開されている。

テストされた4つのビジョンモデルは、GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flash。2つの目標画像再現と5つの自由プロンプトで、合計28枚の描画が生成された。結果は示唆に富む。

主要数値

モデルごとの7枚の描画全体で、GPT-5.6 Solは平均29ステップ、トークンコスト7.74ドル、所要時間約6.2分。Claude Fable 5は41ステップ、12.5分、そして驚愕の160.58ドル——Solの20倍以上のコストだ。Grok 4.5は99ステップ、3400万トークンを使用したがコストはわずか9.21ドル。Gemini 3.6 Flashは73ステップ、2770万トークンで12.87ドルだった。

Solはset_color、set_brush、set_pressureを一度も呼び出さず、各draw呼び出しにインラインで設定。ツール使用を極限まで削った。Grok 4.5は正反対で、1349回のツール呼び出しの65%がこれら3つのセッターだった。Claude Fable 5はsmudgeに大きく依存（123回呼び出し）、常に確認を繰り返した。Gemini 3.6 Flashは最も執拗な確認者で、呼び出しの約3分の1がview_canvas（描画あたり約23回の自己確認）。

品質結果

モナ・リザ再現では、GPT-5.6 Solが最高のSSIMスコアを記録、次いでGemini 3.6 Flash、Claude Fable 5、最下位がGrok 4.5。星月夜でも同様の傾向。5つの自由プロンプト（漁師、夕日、バラ、猫、小屋）でも、Solの出力は一貫して認識しやすく美的にまとまっていた。Claude Fable 5は濁った過度なスミアリング結果。Grok 4.5の描画はしばしばほとんど判別不能。Gemini 3.6 Flashは堅実だが、Solの細部や構図には及ばなかった。

コスト対品質のトレードオフ

コスト差が最大の見出しだ。Claude Fable 5は全実行で160.58ドル——GPT-5.6 Solの7.74ドルの20倍以上——にもかかわらず、より劣る描画を生成。Grok 4.5は安価だが品質は低かった。Gemini 3.6 Flashはまずまずの中間点。著者らは、より安価なオープンウェイトモデルは使い物にならず、しばしば空白のキャンバスを返したと指摘する。

これは芸術的能力のベンチマークではない。各モデルがオープンエンドで長期にわたるツール使用タスクをどれだけうまく処理できるかのテストだ。結果はベンチマークの誇張を排し、どのモデルが効率的に計画・反復・実行できるかを示している。