跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

Relay-Bench:評估大語言模型在多領域推理鏈上的表現

文章摘要

Relay-Bench 是一個全新的未飽和基準測試,旨在評估大語言模型在單個提示中完成多個不同領域任務的能力。當前領先模型 GPT-5.5 (xHigh) 得分僅為 43.3%,表明模型在多領域複合推理方面仍有巨大提升空間。

來源arXiv Computational Linguistics作者: Liam Swayne
Relay-Bench:評估大語言模型在多領域推理鏈上的表現
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一項名為 Relay-Bench 的新型基準測試正式釋出,該測試專門用於評估大語言模型(LLM)在複雜多領域推理鏈上的表現。與以往僅測試單一能力的基準不同,Relay-Bench 要求模型在單個提示中依次完成來自不同領域的多個子問題,從而模擬真實世界中需要綜合運用多種技能的複合任務。

Relay-Bench 的測試集完全由複合問題組成,每個問題包含2到13個單領域子問題。這些子問題涵蓋了視覺推理(以文本形式描述)、程式設計、數學、資訊提取(重點為網路搜尋)、問題解決、常識知識和資料分析共8個領域。為了增加難度,許多問題還透過提示編碼(prompt encoding)和故意新增冗餘上下文(context bloat)來增加複雜度,使得模型必須在混亂的資訊中準確提取關鍵要素。

在最新評估中,表現最好的模型是 OpenAI 的 GPT-5.5 (xHigh),但其得分僅為 43.3%,遠未達到飽和水平。值得注意的是,測試未對模型施加任何外部限制,並且明確鼓勵模型使用程式碼執行、網路搜尋以及所有可用工具。這意味著模型具備完全的自主權,但即使如此,整體表現仍不盡人意,表明當前 LLM 在整合多領域知識進行長鏈推理方面存在根本性短板。

Relay-Bench 的釋出為 AI 研究社群提供了一個更貼近實際應用場景的評估工具。傳統基準往往只針對單一技能,而現實中的問題往往需要跨領域協作。該基準的設計旨在捕捉這種綜合性,推動模型在複雜任務中的泛化能力。研究者認為,Relay-Bench 可能成為未來 LLM 效能的重要標尺,並促使模型在組合推理、工具使用和上下文管理方面取得突破。相關論文已提交至 arXiv(編號:2607.18438),並計劃在後續會議上展示。論文共21頁,包含7張圖表,詳細介紹了基準構建方法、難度控制及樣本分析。

展開要點與分析

文章情報

工程師進階

要點

  • Relay-Bench 包含由2到13個子問題組成的複合問題,覆蓋視覺推理、程式設計、數學、資訊檢索等8個領域。
  • 最佳模型 GPT-5.5 (xHigh) 僅得43.3%,顯示現有LLM在多領域推理鏈上表現有限。
  • 基準測試允許模型使用程式碼執行、網路搜尋等工具,強調全自主解決問題的能力。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。