GPT-5.6、Fable 5和Grok 4.5根据同一规格重建Basecamp

作者构建了一个名为Basecamp Bench的基准测试，旨在评估多个AI模型在实现复杂软件项目上的能力。测试要求模型基于相同的规格、设计图和技术规范，分别构建一个Basecamp风格应用的前端和后端。参与测试的模型包括GPT-5.6 Sol、Fable 5、Grok 4.5、Sonnet 5和GPT-5.5。

结果显示，Fable 5在两个赛道上均取得了最高分，前端得分为7.578，后端得分为8.392，其前端实现与真实Basecamp非常接近，仅需少量细化调整即可达到生产级别。Grok 4.5则展现了最佳的速度和成本组合，总用时仅37分钟，成本仅9.30美元，但在图形打磨上有所欠缺，前端得分为6.384，后端得分为7.278。GPT-5.6 Sol的成绩为前端5.765，后端7.310，总用时59分48秒，成本15.13美元。Sonnet 5和GPT-5.5分别位列其后。

后端得分整体较为接近，大多数模型都能正确实现全部路由和接口契约，但在不变量强制、契约正确响应和诚实错误处理上有所区别。前端得分差异更大，这反映出模型在布局、图标、微交互和过渡动画等细节上的不同处理能力。Fable 5最严格地遵循了规格，将每个表面和端点连接到同一个产品模型；Sonnet 5优先考虑工作、持久的工作流；GPT-5.5优先考虑打磨（虽然效果不佳）同时核心控件失效；GPT-5.6 Sol则搭配了规范的后端和浅层的前端。

作者还进行了多次运行以评估变异性。对于Sonnet 5和GPT-5.6 Sol，每个赛道额外运行了五次。结果显示，同一模型的不同运行之间可能存在显著差异。例如，Sonnet 5在前端赛道的中位数得分为6.585，观察范围从6.178到6.922；GPT-5.6 Sol的中位数为6.026，范围从5.780到6.489。后端赛道也有类似波动。最强运行将更多请求功能转化为可工作的持久行为，并更仔细地处理API契约和验证，而弱运行乍看相似但隐藏着失效控件、脆弱状态和浅层后端行为。这种扩散揭示了每个模型的潜在能力范围以及依赖单次运气不佳的运行的风险。

此外，作者尝试测试了ZAI的GLM 5.2和Gemini Flash 3.5，但这些模型未能完成基准测试。GLM 5.2在单文件实现约束上反复失败，即使手动覆盖允许多文件也无法完成。Gemini Flash 3.5在AGY中遭遇工具调用失败，五次运行均失败。Gemini Pro 3.1虽然完成，但得分较低（前端3.2，后端3.9），表明其难以胜任长期代理任务。

作者计划在未来添加Gemini 3.5 Pro和GPT-6（如果传闻属实）的测试结果。整个基准测试的代码、提示词、评分标准和完整报告均已公开在GitHub上，供社区复现和改进。值得注意的是，作者强调项目的最后10%需要与前面90%相当的工作量，Basecamp Bench上每个分数点都越来越难获得，从八分到九分需要的深度和复杂度远大于从五分到六分。