近年來，隨著語言模型智慧體的快速發展，如何系統性地評估這些智慧體的能力成為一個重要課題。arXiv 於2026年9月3日釋出了一篇名為“Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation”的論文，作者團隊包括Lin Shi等120名研究者。論文指出，現有的智慧體基準測試數量不斷增加，但每項基準往往需要複雜的環境模擬和專用的智慧體介面，這使得大規模評估變得極為困難。針對這一問題，論文提出了兩項核心資源：Harbor Adapters 和 Harbor-Index。
Harbor Adapters 是一個統一的評估基礎設施，它提供了超過80個基準的介面卡，讓任意智慧體都可以被便捷地接入評估流程。研究團隊對這些介面卡進行了嚴格的程式碼審查和一致性實驗（parity experiments），確保它們在不同配置下表現穩定。基於這套基礎設施，作者們開展了一項大規模評估：他們選擇了8個能力層級各異的模型，在54個基準上進行了測試。每個模型都在 Terminus-2 執行環境下執行，並配以三種原生測試框架（native harnesses）之一。這樣多角度、大規模的實驗設計，使得研究者能夠比以往更深入地分析智慧體的能力和失敗模式。
在適配後的基準集合基礎上，研究人員進一步構建了 Harbor-Index，這是一個經過精心挑選的後設資料集，包含82個高難度、多樣化且質量優秀的任務，這些任務跨越29個基準。篩選過程結合了難度過濾、AI 和人工審計，以及“審計-修復”迴圈，以確保所選任務既具有代表性又能有效區分不同模型的效能。Harbor-Index 的設計初衷是在保留大規模全面評估的挑戰性的同時，控制評估成本。實驗表明，在被評估的模型與框架組合中，沒有任何一個組合的透過率超過30%；最強組合（GPT-5.5 with Codex）的透過率也僅為28.0%。這說明 Harbor-Index 是一個具有足夠區分度的評測集。
這項工作的一個重要貢獻是將所有資源開源。論文作者宣稱，他們會發布介面卡程式碼、完整的評估結果、深度分析報告以及 Harbor-Index 資料集，目的是讓整個研究社群能夠使用這些工具，進行更可靠、更全面的語言模型智慧體評估。該論文的 arXiv 編號為 2609.04298，所屬學科為 cs.AI 和 cs.CL，並獲得了 DataCite 分配的 DOI：10.48550/arXiv.2609.04298。論文的 PDF 和實驗性 HTML 版本已於2026年9月3日上線，供研究者閱讀和引用。