Long-Horizon-Terminal-Bench：透過密集獎勵評分測試智慧體在長時終端任務上的極限
Long-Horizon-Terminal-Bench是一個包含46個長時任務的終端基準測試，涵蓋實驗復現、軟體工程、多模態分析等9個類別。它透過細粒度子任務提供密集中間獎勵和部分分數，更全面地評估AI智慧體的能力。評估15個前沿模型發現，最強模型在部分獎勵閾值0.95下透過率僅15.2%，完全正確透過率10.9%，平均透過率更低，表明仍有巨大改進空間。
人工智慧智慧體在完成短時、明確界定的任務方面已展現出色能力，然而現有終端基準測試大多侷限於幾分鐘內即可解決的簡單問題，並且僅根據最終結果進行評價。這種評估方式忽略了中間進展和部分解決方案，導致獎勵訊號稀疏，無法全面反映智慧體的能力。為更真實地衡量智慧體在複雜、長期任務中的表現，來自多所機構的研究人員聯合提出了Long-Horizon-Terminal-Bench（長時終端基準），這是一個全新的終端基準測試，包含46個精心設計的長時任務，覆蓋實驗復現、軟體工程、多模態分析、互動式遊戲和科學計算等9個廣泛類別。
與傳統的終端基準不同，Long-Horizon-Terminal-Bench中的每個任務都遵循終端基準風格，配備參考解決方案或模擬引擎，但更進一步，將每個任務分解為細粒度的可評分子任務。這種分解設計使得智慧體在任務執行過程中能夠獲得密集的中間獎勵和部分分數，從而評估不僅能捕捉到智慧體是否達成最終目標，還能衡量其在開放式工作流程中取得了多大進展。例如，一個軟體工程任務可能被分解為程式碼編寫、測試、除錯等多個子步驟，每個子步驟均可獨立評分。
Long-Horizon-Terminal-Bench中的任務通常需要數百個回合和數分鐘到數小時的執行時間，重點考察長程規劃、長上下文管理和迭代除錯能力，而非一次性問題解決。研究團隊對15個前沿模型進行了系統性評估，發現智慧體在每個任務上平均消耗990萬令牌，執行約231回合，執行時間85.3分鐘，這使得Long-Horizon-Terminal-Bench成為迄今為止最具挑戰性的終端基準之一。評估結果令人警醒：即便在部分獎勵閾值0.95下，最強測試模型的透過率也僅為15.2%；在完美獎勵閾值1.0下，透過率低至10.9%。所有模型的平均透過率在這兩個閾值下分別僅為4.3%和1.7%。這些數字清晰地揭示了當前智慧體在長時終端任務上存在巨大的提升空間。
除了全面的評估外，團隊還深入分析了智慧體的失敗模式和錯誤模式，識別出常見的瓶頸，如長上下文丟失、規劃執行不一致等。他們已將Long-Horizon-Terminal-Bench公開發布，包括任務定義、評估程式碼和資料分析工具，旨在為社群提供一個標準化、可復現的測試平臺，推動長時終端智慧體的研究進展。該基準有望加速AI智慧體在更復雜、更現實的任務場景中取得突破，例如自動化科研、複雜系統運維等。