言語モデルエージェントは、ソフトウェア工学やカスタマーサービスなど、範囲が明確で短期的なタスクの実行者としては熟達しつつある。しかし現実世界の課題は、エージェントではほとんど検証されてこなかった高度な能力の組み合わせを要求する。arXivに発表された論文「CEO-Bench: Can Agents Play the Long Game?」は、このギャップに正面から取り組む。
CEO-Benchは、現実世界を代表するタスクとして「スタートアップを500日間経営する」ことを模擬する。エージェントはプログラム可能なPythonインターフェースを通じて、価格設定、マーケティング、予算管理など、架空企業の多岐にわたる業務を担う。その環境と課題は人間のCEOが直面するものと同一である。
このベンチマークが同時に評価するのは四つの能力だ。第一に、不確実性が伴う長期的な意思決定。第二に、雑音の多い環境での情報獲得。第三に、変化する世界への適応。第四に、複数の可動部分を一貫した目標へ向けて調整する力である。成功には、雑音が多く相互接続された業務データベースの分析、シグナルから妥当な戦略への変換、そしてプログラミングによる多数の意思決定の調整が求められる。
論文によれば、最も優れたエージェントは顧客コホートを模擬して将来のキャッシュフローを予測する精巧なコードを書き、交渉履歴を掘り起こして隠れた顧客選好を明らかにする。それでも、最先端モデルの大半はこの環境で苦戦する。100万ドルの初期残高を上回って終了したのはClaude Opus 4.8とGPT-5.5のみであり、しかも両者とも持続的に利益を出すことはできなかった。
CEO-Benchの意義は、時間をかけて適応し続ける進展を生み出すために必要な知能を測定する第一歩を踏み出した点にある。エージェントを孤立したタスクから、長期・多変数・雑音に満ちた現実のビジネス状況へと押し出し、再現可能なテスト基盤を提供する。本論文はHaozhe Chen氏ら3名によるもので、2026年6月16日に提出され、cs.AI、cs.CL、cs.SEの学際領域に属する。