首個面向智能體的工業運營基準測試

引言

SolarBench 是一個新的基準測試，旨在衡量 AI 智能體是否能夠運行一個工業運營桌。該基準測試將模型置於一個負責多個太陽能電站的遠程運營桌位置，模擬擁有行業後台工具，包括警報源、站點遙測、工單、零件庫存以及業主和技師的收件箱。模型必須找出實際故障，並安排人員和零件到現場。

選擇太陽能的原因是它提供了一個全面的測試環境：運營一個組合需要長期的操作、財務和人工判斷。遠程運營桌管理數十個具有各自規格和歷史、有實際收入風險以及不斷變化的技師、業主和管理人員的站點。這些場景來自數百小時與真正運營太陽能的人員的交流，重建為一個實時運營桌。

工作原理

在模擬中，模型被放置在一個事件量化的周時鐘內，通過工具調用與模擬世界交互。工具調用包括讀取各種表面（免費）和對世界採取行動（收費）。模型必須通過工具查詢世界，並在週日提交報告。太陽能世界非常混亂：警報通常不可靠，有些真實故障從不觸發警報；大多數維修需要零件訂單或保修索賠，都有交付時間和截止日期；業主和資產管理者也會通過電子郵件發送請求。

模型在一週的模擬中評估，模擬中包含一個特定的、專家繪製的長期問題。模型根據稱職能手會採取的行動標準進行評分。每次運行只有在周內所有出現的問題都得到妥善解決才算通過，嚴格且全有或全無。啓動集包括八個任務、十一個模型，每個模型運行十次，總共 880 個評分周。

模型性能

測量了每個模型的利潤，歸一化到 $0 為無人在桌的一週。頂端的 Oracle 表現最佳，獲得 +$8,483。在模型中，Claude Fable 5 以 +$6,822 領先，其次是 GPT-5.6 Sol（+$6,591）和 GLM 5.2（+$6,575）。其他模型包括 Kimi K3（+$4,714）、Grok 4.5（+$4,201）、Gemini 3.5 Flash（+$3,765）等。

同時測量了每個模型通過其一週的頻率。最強的模型 Claude Fable 5 大約有一半時間成功，平均通過率約 53.8%。然而，現實運營桌需要每週都正確，因此引入了 pass^k 指標，即同一周 k 次獨立運行全部通過的概率。成功率急劇下降，表明模型在工業運營方面仍有很長的路要走。

開銷和工具調用

模型擁有檢查和行動工具。最詳盡的模型 Grok 4.5 工具調用次數是得分最高的 Claude Fable 5 的 2.3 倍，但通過的週數更少。在行動方面，模型派遣卡車或訂購零件會花費模擬資金。下表列出了關鍵數據：

• Claude Fable 5：154 次工具調用/周，花費 $9,939，通過率 53.8%
• Muse Spark 1.1：273 次，花費 $9,811，通過率 42.5%
• Grok 4.5：360 次，花費 $11,271，通過率 38.8%
• GPT-5.6 Sol：295 次，花費 $7,569，通過率 33.8%
• Gemini 3.1 Pro：139 次，花費 $9,957，通過率 28.8%
• Kimi K3：191 次，花費 $8,785，通過率 26.3%
• GLM 5.2：260 次，花費 $9,252，通過率 23.8%
• Claude Sonnet 5：178 次，花費 $8,069，通過率 12.5%
• Gemini 3.5 Flash：178 次，花費 $7,456，通過率 11.3%
• GPT-5.6 Terra：199 次，花費 $6,544，通過率 6.3%
• Kimi K2.7 Code：237 次，花費 $9,328，通過率 5.0%
• 理想 Oracle：不適用，花費 $9,559，通過率 100%

模型經常通過檢查清單，但花費是所需費用的 4 到 8 倍。

示例周

以下展示了 Claude Fable 5 完全正確的一週示例（該任務中 Fable 在 10 次運行中通過了 7 次）。

週一

週一 06:30，面板打開，有 42 個警報。大多數是滋擾警報，但三個是關鍵的，一個是持續性串級缺陷。運營桌在操作前閲讀了運維服務等級協議（SLA）和套件標準操作程序（SOP），提取了收入儀表和逆變器通道。最終剩下三個嚴重警報和一個持續性串級缺陷。

週一 06:30 至 09:13，Bramble 站點出現一個真實故障且在保修期內。運營桌派遣了高優先級技師卡車並附帶原始設備製造商（OEM）套件，隨後提交了保修退貨授權（RMA）。現場確認設備已死，RMA 於 09:13 提交，免費更換零件為週四訂購。

週一 09:00 和週三 10:00，資產管理者要求兩輛緊急卡車。運營桌以書面形式拒絕，並分別提供了證據：Dover 站點的收入儀表顯示生產正常，Bramble 站點已按正確優先級處理。失敗的一次運行則給出了未加區分的拒絕，沒有提供理由。

週一 09:13，為 80/20 診斷準備套件。歷史表明 80% 的概率是連接器腐蝕，20% 是優化器故障。運營桌為兩者都準備了零件。失敗運行只准備了 MC4 套件，導致第二天需要再次派遣卡車。

週一 09:13，通過主動巡查發現一個從未報警的逆變器讀數為 0.0 kW。其保修已於 2024 年過期，因此當天上午發出現金採購訂單。

週二

週一至週二 07:45，最響亮的警報：一個監測故障。Dover 站點顯示 OFFLINE CRITICAL，但收入儀表讀數為 49.6 kW。運營桌在相信瞬態警報前檢查了實際儀表，預訂了週三的常規通信板訪問，並向資產管理者發送了儀表數字。失敗運行則先派遣了高優先級卡車，浪費了資金。

週二 08:00，檢測到變壓器氣體上升告警，立即發出採購訂單和計劃停機工作訂單。

週四

週四 06:30 至 08:00，保修更換零件到達。運營桌按接收 SOP 檢查，發現技師窗口短了五分鐘，因此將安裝安排到週五。Bramble 站在週五上午恢復生產。

週日

週日 06:30，週一現金採購的零件到達。該單元經過檢查、安裝並在儀表處驗證。本週內兩個故障逆變器均被更換。週日 14:30，提交週報，該運行通過了全部 21 個標準。

運營者與模型的差距

常見差距包括：

1. 基於概率的成本效益權衡：當零件缺貨且供應商常發錯貨時，人類運營者會訂購兩次以對沖風險。許多模型未能這樣做，導致懲罰和收入損失。在 90 次評分運行中，下了兩次訂單的運行全部通過，而只下一次訂單的運行全部失敗。

1. 信息源優先級排序：運營桌需要處理潛在衝突的信息。文章在此處截斷，但強調了模型在區分信息可靠性方面的不足。

SolarBench 揭示，儘管 AI 模型在工業運營任務中展現出潛力，但在可靠性、成本效率和複雜決策方面仍遠未達到人類專家水平。