《毀滅戰士》教會了我們什麼：AI輔助事件響應

Rootly AI實驗室近日發佈了Doom Agent Arena，這是一個基於經典遊戲《毀滅戰士》的開源基準測試環境，旨在評估AI智能體在類似事件響應的動態場景中的表現。該項目通過讓大型語言模型（LLM）控制遊戲角色進行一對一死亡競賽，模擬事件響應中需要快速分析、決策和適應的過程。

與大多數依賴視覺輸入的《毀滅戰士》基準測試不同，Doom Agent Arena通過MCP服務器將遊戲狀態以結構化JSON形式提供給智能體，包括地圖和資源信息。智能體需要制定高等級計劃，如移動路徑和攻擊時機，而遊戲的引擎負責具體執行。這種設計旨在測試LLM的推理能力，而非圖像識別能力。

研究團隊使用OpenAI的多個模型進行了120場比賽，每對模型對決20輪。結果顯示，gpt-5.5以66%的勝率位居第一，而gpt-5.4-mini僅獲得39.2%的勝率。有趣的發現是，思考時間更長的智能體並未表現更好；例如，gpt-5.3-codex-spark在其思考時間超過中位數時，勝率下降了28個百分點。這表明在事件響應中，過長的決策時間可能是遇到困難的信號，而非謹慎的表現。

另一個關鍵發現是，某些智能體（如gpt-5.5）在30輪比賽中開始自行編寫Python控制器，採用最短路徑和優先級策略來獲取資源、戰鬥和撤退。這一行為類似於事件響應中的“運行手冊”——將確定性任務自動化，減少對模型每步推理的依賴。這種方法更快、更節省令牌，並且結果可審計。研究強調，運行手冊應由可靠性專家制定，並持續根據實際結果優化。

儘管輕量級模型codex-spark的決策速度最快（每步約6.6秒），但它並未贏得比賽。然而，在事件響應中，速度的累積效應顯著：一個複雜事件可能涉及數百個決策，每個步驟節省幾秒就能將平均解決時間縮短數十分鐘。因此，研究建議將輕量模型用於執行確定性任務，而將強模型留給需要判斷的關鍵步驟。

該項目目前已在GitHub上開源，研究團隊計劃進一步分析數據並撰寫論文。Doom Agent Arena作為SRE技能基準測試的補充，提供了獨特視角，有助於開發更智能的AI輔助事件響應系統。