『Doom』が教えてくれたAI支援インシデント対応の教訓

Rootly AIラボは、古典的なゲーム『Doom』を利用したオープンソースベンチマーク「Doom Agent Arena」を発表しました。このベンチマークは、大規模言語モデル（LLM）が動的な環境でどのように推論、適応、意思決定を行うかを評価することを目的としています。AIエージェントはMCPサーバーを介してゲーム状態を構造化JSONとして観察し、移動や攻撃などの高レベルな計画を立てます。エグゼキューションはDoomエンジンが担当します。

研究チームはOpenAIの複数のモデルを使用し、120試合（各ペア20ラウンド）を実施しました。結果、gpt-5.5が66%の勝率でトップ、gpt-5.4が52.5%、gpt-5.3-codex-sparkが41%、gpt-5.4-miniが39.2%でした。注目すべきは、思考時間が長いエージェントが必ずしも良い成績を収めなかったことです。例えば、gpt-5.3-codex-sparkは自身の中央値より長く思考したラウンドで勝率が28ポイント低下しました。これは、インシデント対応においても、単に考える時間を長く取るだけでは効果的でないことを示唆しています。

また、30ラウンドの実験では、gpt-5.5がモデルによる毎回の計画をやめ、独自のPythonコントローラを記述しました。これは最短経路探索と優先順位ポリシーに基づいており、インシデント対応における「ランブック」に相当します。既知の調査パターンをコード化することで、モデルを毎ステップの実行者ではなく、ランブックの作成者・監督者として活用する方が効率的です。

軽量モデルcodex-sparkは最も低い意思決定レイテンシ（約6.6秒）を誇り、他のモデルより約44%速く、約2倍のプレイ計画を提出しました。しかし、それだけでは勝利には至りませんでした。それでも、インシデント対応では各ステップの短縮が累積的に効果を発揮します。例えば、ダッシュボードの取得やログのフィルタリングなどの機械的なステップを軽量モデルに任せ、判断を要する部分に強力なモデルを割り当てることで、MTTRを大幅に短縮できます。

研究チームはさらなる分析を進め、論文発表を目指しています。Doom Agent Arenaは、SREスキルベンチマークとは異なる視点を提供し、AI支援インシデント対応の進化に貢献することが期待されています。プロジェクトはGitHubで公開されており、貢献も歓迎されています。