GPT-5.6、Fable 5、Grok 4.5が同一仕様からBasecampを再構築

著者はBasecamp Benchと呼ばれるベンチマークを構築し、複数のAIモデルが複雑なソフトウェアプロジェクトを実装する能力を評価しました。テストでは、モデルは同一の仕様、モックアップ、デザイントークンに基づいて、Basecamp風アプリケーションのフロントエンドとバックエンドを構築する必要がありました。参加モデルはGPT-5.6 Sol、Fable 5、Grok 4.5、Sonnet 5、GPT-5.5です。

結果、Fable 5が両トラックで最高得点を獲得しました。フロントエンドスコアは7.578、バックエンドは8.392で、そのフロントエンド実装は実際のBasecampに非常に近く、わずかな微調整で完成可能でした。Grok 4.5は速度とコストのバランスに優れ、総時間37分、コスト9.30ドルでしたが、グラフィックの洗練度に欠け、フロントエンドスコア6.384、バックエンド7.278でした。GPT-5.6 Solはフロントエンド5.765、バックエンド7.310、総時間59分48秒、コスト15.13ドルでした。Sonnet 5とGPT-5.5はそれに続きました。

バックエンドのスコアは全般的に接近しており、ほとんどのモデルがすべてのルートとAPIコントラクトを正しく実装しましたが、不変条件の強制、コントラクトに忠実な応答、誠実な失敗処理に違いが見られました。フロントエンドのスコアはよりばらつきがあり、レイアウト、アイコン、マイクロインタラクション、トランジションなどの詳細な処理能力の違いを反映しています。Fable 5は仕様に最も厳密に従い、すべての表面とエンドポイントを同じプロダクトモデルに接続しました。Sonnet 5は動作する永続的なワークフローを優先し、GPT-5.5は（特にうまくはないが）洗練を優先してコアコントロールを無効にし、GPT-5.6 Solは規律あるバックエンドと浅いフロントエンドを組み合わせました。

著者は実行のばらつきを評価するために、Sonnet 5とGPT-5.6 Solを各トラックでさらに5回ずつ実行しました。結果、同じモデルでも実行ごとに顕著な差がありました。例えば、Sonnet 5のフロントエンド中央値は6.585、観測範囲は6.178～6.922、GPT-5.6 Solの中央値は6.026、範囲は5.780～6.489でした。バックエンドでも同様の変動が見られました。強い実行は要求された機能の多くを作動可能で永続的な動作に変換し、APIコントラクトと検証をより注意深く処理しましたが、弱い実行は一見同様に完全に見えても、無効なコントロール、脆弱な状態、浅いバックエンド動作を隠していました。この広がりは、各モデルの潜在能力の範囲と、不運な抽選で構築するリスクを明らかにしています。

さらに、著者はZAIのGLM 5.2とGemini Flash 3.5のテストも試みましたが、これらのモデルはベンチマークを完了できませんでした。GLM 5.2は単一ファイル実装の制約で繰り返し失敗し、複数ファイルを許可するようにハーネスを上書きしても完了できませんでした。Gemini Flash 3.5はAGYでツール呼び出しの失敗に遭い、5回の実行すべてが失敗しました。Gemini Pro 3.1は完了したものの、フロントエンド3.2、バックエンド3.9と低スコアで、長期エージェントタスクには不向きであることが示されました。

著者は将来的にGemini 3.5 ProとGPT-6（噂が事実であれば）のテスト結果を追加する予定です。ベンチマークのコード、プロンプト、評価基準、完全なレポートはGitHubで公開されており、コミュニティによる再現と改善が可能です。著者は、プロジェクトの最後の10%には最初の90%と同じだけの作業が必要であり、Basecamp Benchの各ポイントは前のポイントよりも獲得が難しく、8から9への移動には5から6への移動よりもはるかに深さと複雑さが必要であると強調しています。