大語言模型智能體在不更新模型參數的前提下,可以通過執行經驗持續改進,這類方法通常被稱為harness自我進化。其效果高度依賴一個前提:模型能否真正按照harness給出的指導行動。來自arXiv的一篇新論文由Zhihao Yang等十位作者完成,指出這一前提並不總成立,harness帶來的收益會隨模型能力不同而顯著分化。
研究團隊在七個模型和三個基準上進行了系統測試,共找出103個任務與技能的組合,這些技能對能力較強的GPT-5.6-luna平均帶來31.1分的提升,卻讓較弱的Gemma-4-E4B下降8.8分。更值得關注的是失敗原因:在弱模型失敗的運行中,有86%的情況所違反的要求其實已經明確寫在技能文本里。也就是説,問題並非信息缺失,而是這些指導對弱模型來説難以轉化為可執行的步驟。
基於這一觀察,作者提出“技能適配”這一思路:不改變任務目標,而是重新表述既有技能,使指導與執行者自身的能力相匹配、更易落地。為此,他們先在工具調用、上下文管理、指令遵循和結果驗證四個維度上診斷失敗模式,再把這些診斷提煉成一個固定的元技能,用於在harness自我進化過程中指導技能改寫。
實驗顯示,在元技能的引導下,一個能力較強的外部改寫器Kimi-K3即使不接觸任何執行證據,也能完成技能適配。經其改寫後的技能使三個較弱的執行器相比原始技能提升5.1至14.1分,説明適配本身就能帶來可觀收益,而不必依賴反覆試錯。
作者進一步把適配嵌入五輪自我進化循環:每一輪中,模型依據自己的執行軌跡與驗證器反饋修訂自身技能。覆蓋從Gemma-4-E4B到Kimi-K2.5的七個執行器,加入元技能後最終得分比不使用元技能的同一循環穩定高出2.0至5.1分。
論文認為,這些結果為設計更有效的harness自我進化方法提供了實用指引:技能設計不能假設所有執行器具備同等能力,而應把“讓指導可被執行”作為進化的核心目標之一。該論文共24頁,含12幅圖和4張表,屬於機器學習、人工智能與計算語言學期刊分類,於2026年10月10日提交至arXiv。