GPT-5.6、Fable 5和Grok 4.5根據同一規格重建Basecamp

作者構建了一個名為Basecamp Bench的基準測試，旨在評估多個AI模型在實現複雜軟件項目上的能力。測試要求模型基於相同的規格、設計圖和技術規範，分別構建一個Basecamp風格應用的前端和後端。參與測試的模型包括GPT-5.6 Sol、Fable 5、Grok 4.5、Sonnet 5和GPT-5.5。

結果顯示，Fable 5在兩個賽道上均取得了最高分，前端得分為7.578，後端得分為8.392，其前端實現與真實Basecamp非常接近，僅需少量細化調整即可達到生產級別。Grok 4.5則展現了最佳的速度和成本組合，總用時僅37分鐘，成本僅9.30美元，但在圖形打磨上有所欠缺，前端得分為6.384，後端得分為7.278。GPT-5.6 Sol的成績為前端5.765，後端7.310，總用時59分48秒，成本15.13美元。Sonnet 5和GPT-5.5分別位列其後。

後端得分整體較為接近，大多數模型都能正確實現全部路由和接口契約，但在不變量強制、契約正確響應和誠實錯誤處理上有所區別。前端得分差異更大，這反映出模型在佈局、圖標、微交互和過渡動畫等細節上的不同處理能力。Fable 5最嚴格地遵循了規格，將每個表面和端點連接到同一個產品模型；Sonnet 5優先考慮工作、持久的工作流；GPT-5.5優先考慮打磨（雖然效果不佳）同時核心控件失效；GPT-5.6 Sol則搭配了規範的後端和淺層的前端。

作者還進行了多次運行以評估變異性。對於Sonnet 5和GPT-5.6 Sol，每個賽道額外運行了五次。結果顯示，同一模型的不同運行之間可能存在顯著差異。例如，Sonnet 5在前端賽道的中位數得分為6.585，觀察範圍從6.178到6.922；GPT-5.6 Sol的中位數為6.026，範圍從5.780到6.489。後端賽道也有類似波動。最強運行將更多請求功能轉化為可工作的持久行為，並更仔細地處理API契約和驗證，而弱運行乍看相似但隱藏着失效控件、脆弱狀態和淺層後端行為。這種擴散揭示了每個模型的潛在能力範圍以及依賴單次運氣不佳的運行的風險。

此外，作者嘗試測試了ZAI的GLM 5.2和Gemini Flash 3.5，但這些模型未能完成基準測試。GLM 5.2在單文件實現約束上反覆失敗，即使手動覆蓋允許多文件也無法完成。Gemini Flash 3.5在AGY中遭遇工具調用失敗，五次運行均失敗。Gemini Pro 3.1雖然完成，但得分較低（前端3.2，後端3.9），表明其難以勝任長期代理任務。

作者計劃在未來添加Gemini 3.5 Pro和GPT-6（如果傳聞屬實）的測試結果。整個基準測試的代碼、提示詞、評分標準和完整報告均已公開在GitHub上，供社區復現和改進。值得注意的是，作者強調項目的最後10%需要與前面90%相當的工作量，Basecamp Bench上每個分數點都越來越難獲得，從八分到九分需要的深度和複雜度遠大於從五分到六分。