エージェント向け初の産業運用ベンチマーク

はじめに

SolarBenchは、AIエージェントが産業運用デスクを実行できるかどうかを測定する新しいベンチマークです。このベンチマークでは、モデルを複数の太陽光発電所のポートフォリオを担当する遠隔運用デスクの席に置き、アラームフィード、サイトごとのテレメトリ、作業指示、部品在庫、所有者や技術者の受信トレイなど、業界のバックオフィスツールを模擬します。モデルは実際に何が故障しているかを特定し、人員と部品を現場に派遣する必要があります。

太陽光発電を選んだ理由は、包括的なテストに適しているからです。ポートフォリオの運用には、長期的な運用、財務、人的判断が混在します。遠隔運用デスクは、それぞれ仕様や履歴が異なる数十のサイトを管理し、実際の収益がかかっており、技術者、所有者、管理者が入れ替わります。シナリオは、実際に太陽光発電を運用する人々との数百時間のやり取りから抽出され、ライブの運用デスクとして再構築されました。

仕組み

シミュレーションでは、モデルはイベント量子化された1週間の時計の中に置かれ、ツールコールを通じてシミュレーションワールドと対話します。ツールコールには、各種サーフェスの読み取り（無料）とワールドへのアクション（有料）が含まれます。モデルはツールのみを通じてワールドを照会し、日曜日までにレポートを提出する必要があります。太陽光発電の世界は非常に複雑で、アラームはそれだけでは信頼できないことが多く、実際の障害の中にはアラームを発しないものもあります。ほとんどの修理には部品注文や保証請求が必要で、リードタイムと期限があります。所有者や資産管理者も週の間にメールでリクエストを送信します。

モデルは、専門家が作成した特定の長期的な問題を含む1週間のシミュレーションで評価されます。モデルは、有能なオペレーターが行うであろう行動のルーブリックに基づいて採点されます。1回の実行は、週末までに表面化した問題のすべての側面が適切に解決された場合のみ合格で、厳格かつオールオアナッシングです。ローンチセットは8つのタスク、11のモデル、各モデル10回の実行で、合計880の採点週です。

モデルパフォーマンス

各モデルの利益を測定し、$0を誰もデスクにいない週（生産節約なし、支出なし）として正規化しました。最上位のOracleは+$8,483を達成しました。モデルの中では、Claude Fable 5が+$6,822でトップ、次いでGPT-5.6 Sol（+$6,591）、GLM 5.2（+$6,575）、Kimi K3（+$4,714）、Grok 4.5（+$4,201）、Gemini 3.5 Flash（+$3,765）などが続きます。

また、各モデルが週をパスした頻度も測定しました。最強モデルのClaude Fable 5は約半数の週で成功し、平均パス率は約53.8%でした。しかし、実際の運用デスクは毎週正しく結果を出す必要があるため、pass^k指標（同じ週のk回の独立した実行がすべて合格する確率）を導入しました。成功率は急激に低下し、モデルが産業運用においてまだ道半ばであることを示しています。

支出とツールコール

モデルは検査とアクションの両方のツールを持っています。最も詳細なモデルであるGrok 4.5は、トップスコアのClaude Fable 5の2.3倍のツールコールを行う一方、合格した週は少なくなりました。アクションに関しては、エージェントが行動を決定すると、トラック派遣（技術者を現場に送る）や部品注文（交換部品を注文する）にシミュレーション上の資金を費やします。以下の表に主要データを示します。

• Claude Fable 5：154回/週、$9,939、53.8%
• Muse Spark 1.1：273回、$9,811、42.5%
• Grok 4.5：360回、$11,271、38.8%
• GPT-5.6 Sol：295回、$7,569、33.8%
• Gemini 3.1 Pro：139回、$9,957、28.8%
• Kimi K3：191回、$8,785、26.3%
• GLM 5.2：260回、$9,252、23.8%
• Claude Sonnet 5：178回、$8,069、12.5%
• Gemini 3.5 Flash：178回、$7,456、11.3%
• GPT-5.6 Terra：199回、$6,544、6.3%
• Kimi K2.7 Code：237回、$9,328、5.0%
• 理想的なOracle：該当なし、$9,559、100%

モデルはチェックリストを通過することが多いものの、支出は必要な費用の4～8倍になることが日常的です。

サンプル週

以下は、Claude Fable 5が完全に正解した週の例です（このタスクでFableは10回中7回合格）。

月曜日

月曜06:30、ボードが開き42のアラームが表示。ほとんどは迷惑アラームですが、3つは重大、1つは永続的なストリング不足です。オペレーションデスクは、アラームに触れる前にO&M SLAとキッティングSOPを読み、収益メーターとインバーターチャンネルを取得しました。35行が迷惑アラームであることが判明。3つのCRITICALと1つの永続的なストリング不足が残りました。

月曜06:30から09:13、Brambleサイトで実際の故障（保証期間内）。ラッチされた障害により、高優先度の技術者トラックとOEMキット、保証RMAが手配されました。現場でユニットの死亡が確認され、09:13にRMAが提出され、木曜日に無料交換部品が注文されました。

月曜09:00と水曜10:00、資産管理者が2台の緊急トラックを要求。オペレーションデスクは書面で拒否し、証拠をもとに2つのケースを区別しました。Doverサイトの収益メーターは生産が正常であることを示し、Brambleサイトは正しい優先度で処理中であると説明。失敗した実行は、理由を示さない単一の拒否回答でした。

月曜09:13、80/20の診断用キッティング。履歴によると、80%の確率でコネクタ腐食、20%でオプティマイザ故障。デスクは両方の部品を準備。失敗した実行はMC4キットのみを用意し、翌日に再度トラックを派遣する結果に。

月曜09:13、自発的なスイープで、クリーンなアラームボードの下で0.0 kWのインバーターを発見。保証は2024年に切れていたため、同日朝に現金購入注文が発行されました。

火曜日

月曜から火曜07:45、今週最大のアラーム：監視障害。DoverのインバーターがOFFLINE CRITICALを示す一方、収益メーターは49.6 kWと健全。デスクは一時的なアラームを信じる前に実際のメーターを確認し、水曜日に定期通信基板訪問を予約し、火曜日にメーター数値を資産管理者に送付。失敗した実行は月曜朝に高優先度トラックを派遣し、資金を無駄にしました。

火曜08:00、変圧器内のガス上昇が検出され、購入注文と計画停止作業指示が即座に発行されました。

木曜日

木曜06:30から08:00、保証交換部品が到着。受領SOPに従って検査し、技術者の作業時間が5分不足していたため、金曜日に設置を予約。Brambleは金曜朝に再稼働。

日曜日

日曜06:30、月曜の現金購入注文が配達。ユニットは検査、設置され、メーターで確認されました。今週死亡した両方のインバーターが週内に交換されました。日曜14:30に週次レポートが提出され、21の基準すべてをクリア。

オペレーターとモデルのギャップ

一般的なギャップには以下が含まれます。

1. 確率に基づく費用対効果のトレードオフ：部品が在庫切れでベンダーが誤出荷することで知られている場合、人間のオペレーターはリスクをヘッジするために2回注文します。多くのモデルはこれができず、ペナルティと収益損失を招きます。90回の評価実行で、2回注文した実行はすべて合格しましたが、1回だけの実行はすべて失敗しました。

1. 情報源の優先順位付け：運用デスクは矛盾する可能性のある情報を処理する必要があります。記事はここで中断されていますが、モデルが情報の信頼性を区別する際の弱点が強調されています。

SolarBenchは、AIモデルが産業運用タスクで可能性を示す一方、信頼性、コスト効率、複雑な意思決定において人間の専門家にはまだ遠く及ばないことを明らかにしています。