跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Terminus-4B:小模型能否替代前沿LLM執行智能體任務?

文章摘要

Terminus-4B是一種基於Qwen3-4B微調的小語言模型,通過監督微調和強化學習訓練,專門用於智能體終端執行任務。實驗表明,它能將主智能體的令牌使用量減少約30%,同時在SWE-Bench Pro等基準測試中保持甚至超越Claude Sonnet/Opus/GPT-5.3-Codex等前沿模型的性能。

來源arXiv AI作者: Spandan Garg, Vikram Nitin, Yufan Huang
Terminus-4B:小模型能否替代前沿LLM執行智能體任務?
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

現代編碼智能體越來越多地將專業子任務委託給子智能體——這些更小、更專注的智能體循環負責搜索、調試或終端執行等狹窄職責。這種架構模式通過將冗長輸出(如構建日誌、測試結果等)隔離在子智能體上下文中,保持主智能體的上下文窗口清潔。通常,智能體在執行此類任務時會使用前沿模型作為子智能體,例如Claude Sonnet、Opus或GPT-5.3-Codex,但這些模型成本高昂,且可能因上下文過長導致效率下降。

在最近的一篇論文中,來自研究機構的Spandan Garg、Vikram Nitin和Yufan Huang探究了經過微調的小語言模型(SLM)是否能在智能體終端執行任務中達到與前沿模型相當的性能。他們提出了Terminus-4B,這是一個基於Qwen3-4B的後訓練模型,通過監督微調(SFT)和基於規則的LLM作為評判的強化學習(RL)專門針對此項任務訓練。該方法使用預定義的評分規則,由另一個LLM評估子智能體的輸出質量,從而引導模型優化。

研究團隊在涵蓋多種前沿模型、訓練消融實驗和主智能體配置的廣泛評估中,對Terminus-4B進行了測試。他們使用了SWE-Bench Pro基準測試以及一個內部構建的SWE-Bench C#基準測試,後者包含大量需要冗長終端執行的任務,例如編譯和測試運行。實驗結果顯示,與不使用子智能體的基線相比,Terminus-4B能夠將主智能體的令牌使用量減少高達約30%,同時不影響其在兩個基準測試上的性能。這意味着模型在大幅降低計算成本的同時,仍能保持與高端模型相當的準確性。

此外,Terminus-4B還改善了關鍵指標,表明主智能體更加依賴子智能體的輸出,並減少了自身執行的終端任務。研究人員觀察到,該模型不僅縮小了原始Qwen模型與前沿模型之間的差距,而且往往甚至超越了它們的性能。例如,在SWE-Bench Pro上,Terminus-4B的修復率超過了Claude Sonnet和Opus,而Claude Opus通常被認為是編碼領域的領先模型。這一發現表明,經過適當訓練的小模型可以在特定智能體任務中替代昂貴的前沿模型,為更高效、更具成本效益的AI系統鋪平道路。

該研究的潛在影響深遠:首先,它可能改變模型選型策略,使開發者更傾向於使用專門化的小模型而非通用大模型;其次,推理成本有望顯著降低,因為小模型的運營成本更低;第三,產品能力可能通過更多子智能體的協作得到增強;最後,現有的評測基準可能需要重新校準,以反映小模型在特定任務中的競爭力。不過,研究的侷限性在於其僅關注終端執行任務,其他類型的子任務(如搜索或調試)是否同樣適用尚需驗證。

展開要點與分析

文章情報

工程師進階

要點

  • Terminus-4B在智能體終端執行任務上性能與前沿模型相當,且令牌消耗降低30%。
  • 採用監督微調和基於規則的LLM作為評判的強化學習訓練。
  • 在SWE-Bench Pro和內部C#基準測試中表現優異,主智能體更依賴子智能體輸出。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。