首个面向智能体的工业运营基准测试

引言

SolarBench 是一个新的基准测试，旨在衡量 AI 智能体是否能够运行一个工业运营桌。该基准测试将模型置于一个负责多个太阳能电站的远程运营桌位置，模拟拥有行业后台工具，包括警报源、站点遥测、工单、零件库存以及业主和技师的收件箱。模型必须找出实际故障，并安排人员和零件到现场。

选择太阳能的原因是它提供了一个全面的测试环境：运营一个组合需要长期的操作、财务和人工判断。远程运营桌管理数十个具有各自规格和历史、有实际收入风险以及不断变化的技师、业主和管理人员的站点。这些场景来自数百小时与真正运营太阳能的人员的交流，重建为一个实时运营桌。

工作原理

在模拟中，模型被放置在一个事件量化的周时钟内，通过工具调用与模拟世界交互。工具调用包括读取各种表面（免费）和对世界采取行动（收费）。模型必须通过工具查询世界，并在周日提交报告。太阳能世界非常混乱：警报通常不可靠，有些真实故障从不触发警报；大多数维修需要零件订单或保修索赔，都有交付时间和截止日期；业主和资产管理者也会通过电子邮件发送请求。

模型在一周的模拟中评估，模拟中包含一个特定的、专家绘制的长期问题。模型根据称职能手会采取的行动标准进行评分。每次运行只有在周内所有出现的问题都得到妥善解决才算通过，严格且全有或全无。启动集包括八个任务、十一个模型，每个模型运行十次，总共 880 个评分周。

模型性能

测量了每个模型的利润，归一化到 $0 为无人在桌的一周。顶端的 Oracle 表现最佳，获得 +$8,483。在模型中，Claude Fable 5 以 +$6,822 领先，其次是 GPT-5.6 Sol（+$6,591）和 GLM 5.2（+$6,575）。其他模型包括 Kimi K3（+$4,714）、Grok 4.5（+$4,201）、Gemini 3.5 Flash（+$3,765）等。

同时测量了每个模型通过其一周的频率。最强的模型 Claude Fable 5 大约有一半时间成功，平均通过率约 53.8%。然而，现实运营桌需要每周都正确，因此引入了 pass^k 指标，即同一周 k 次独立运行全部通过的概率。成功率急剧下降，表明模型在工业运营方面仍有很长的路要走。

开销和工具调用

模型拥有检查和行动工具。最详尽的模型 Grok 4.5 工具调用次数是得分最高的 Claude Fable 5 的 2.3 倍，但通过的周数更少。在行动方面，模型派遣卡车或订购零件会花费模拟资金。下表列出了关键数据：

• Claude Fable 5：154 次工具调用/周，花费 $9,939，通过率 53.8%
• Muse Spark 1.1：273 次，花费 $9,811，通过率 42.5%
• Grok 4.5：360 次，花费 $11,271，通过率 38.8%
• GPT-5.6 Sol：295 次，花费 $7,569，通过率 33.8%
• Gemini 3.1 Pro：139 次，花费 $9,957，通过率 28.8%
• Kimi K3：191 次，花费 $8,785，通过率 26.3%
• GLM 5.2：260 次，花费 $9,252，通过率 23.8%
• Claude Sonnet 5：178 次，花费 $8,069，通过率 12.5%
• Gemini 3.5 Flash：178 次，花费 $7,456，通过率 11.3%
• GPT-5.6 Terra：199 次，花费 $6,544，通过率 6.3%
• Kimi K2.7 Code：237 次，花费 $9,328，通过率 5.0%
• 理想 Oracle：不适用，花费 $9,559，通过率 100%

模型经常通过检查清单，但花费是所需费用的 4 到 8 倍。

示例周

以下展示了 Claude Fable 5 完全正确的一周示例（该任务中 Fable 在 10 次运行中通过了 7 次）。

周一

周一 06:30，面板打开，有 42 个警报。大多数是滋扰警报，但三个是关键的，一个是持续性串级缺陷。运营桌在操作前阅读了运维服务等级协议（SLA）和套件标准操作程序（SOP），提取了收入仪表和逆变器通道。最终剩下三个严重警报和一个持续性串级缺陷。

周一 06:30 至 09:13，Bramble 站点出现一个真实故障且在保修期内。运营桌派遣了高优先级技师卡车并附带原始设备制造商（OEM）套件，随后提交了保修退货授权（RMA）。现场确认设备已死，RMA 于 09:13 提交，免费更换零件为周四订购。

周一 09:00 和周三 10:00，资产管理者要求两辆紧急卡车。运营桌以书面形式拒绝，并分别提供了证据：Dover 站点的收入仪表显示生产正常，Bramble 站点已按正确优先级处理。失败的一次运行则给出了未加区分的拒绝，没有提供理由。

周一 09:13，为 80/20 诊断准备套件。历史表明 80% 的概率是连接器腐蚀，20% 是优化器故障。运营桌为两者都准备了零件。失败运行只准备了 MC4 套件，导致第二天需要再次派遣卡车。

周一 09:13，通过主动巡查发现一个从未报警的逆变器读数为 0.0 kW。其保修已于 2024 年过期，因此当天上午发出现金采购订单。

周二

周一至周二 07:45，最响亮的警报：一个监测故障。Dover 站点显示 OFFLINE CRITICAL，但收入仪表读数为 49.6 kW。运营桌在相信瞬态警报前检查了实际仪表，预订了周三的常规通信板访问，并向资产管理者发送了仪表数字。失败运行则先派遣了高优先级卡车，浪费了资金。

周二 08:00，检测到变压器气体上升告警，立即发出采购订单和计划停机工作订单。

周四

周四 06:30 至 08:00，保修更换零件到达。运营桌按接收 SOP 检查，发现技师窗口短了五分钟，因此将安装安排到周五。Bramble 站在周五上午恢复生产。

周日

周日 06:30，周一现金采购的零件到达。该单元经过检查、安装并在仪表处验证。本周内两个故障逆变器均被更换。周日 14:30，提交周报，该运行通过了全部 21 个标准。

运营者与模型的差距

常见差距包括：

1. 基于概率的成本效益权衡：当零件缺货且供应商常发错货时，人类运营者会订购两次以对冲风险。许多模型未能这样做，导致惩罚和收入损失。在 90 次评分运行中，下了两次订单的运行全部通过，而只下一次订单的运行全部失败。

1. 信息源优先级排序：运营桌需要处理潜在冲突的信息。文章在此处截断，但强调了模型在区分信息可靠性方面的不足。

SolarBench 揭示，尽管 AI 模型在工业运营任务中展现出潜力，但在可靠性、成本效率和复杂决策方面仍远未达到人类专家水平。