為何要重複解決？面向遷移高效機器學習工程的分層技能積累
本文提出HASTE，一種分層多智能體系統，將跨競賽知識組織為全局、領域和競賽特定三個層級，通過LLM驅動的抽象促進層級間學習。在MLE-Bench Lite基準測試中，HASTE使用Claude Sonnet 4.6達到77.3%的獎牌率，熱啓動相比冷啓動減少52%的改進迭代次數，表明更好的知識組織可以部分替代模型強度和計算預算。
機器學習工程智能體在每次競賽中通常從零開始，導致大量計算資源浪費在重新發現已知技術上。針對這一低效問題，來自研究團隊的Yongbin Kim等人提出了HASTE（分層技能積累與遷移效率系統），這是一種新穎的分層多智能體系統，旨在跨競賽積累和複用技能。HASTE的核心創新在於將知識組織為三個範圍層級：全局級、領域級和競賽特定級，每個層級都對應一個匹配的智能體層級。一個協調器負責協調領域專家，並通過LLM驅動的抽象促進層級間的學習，使得知識可以在不同粒度上有效遷移。
在控制消融實驗中，研究人員在8個競賽中保持159個技能的庫存不變，發現分層加載實現了100%的獎牌率，而扁平加載僅達到62.5%，與不加載任何技能時的獎牌率相同，並且消耗了2倍的輸出令牌。這一結果強有力地證明了分層知識組織的重要性。在完整的MLE-Bench Lite基準測試（包含22個Kaggle競賽）中，HASTE使用Claude Sonnet 4.6在每競賽12小時的設置下達到了77.3%的獎牌率。系統在冷啓動運行時沒有積累任何技能，而在熱啓動運行時則重新加載從早期競賽中學到的技能，僅使用全局和領域級技能進行跨競賽遷移。熱啓動使用的改進迭代次數減少了52%，並且智能體保留的提議變更比例從低庫存時的42%上升到擁有50個以上技能時的85%。
這些結果表明，通過更好的知識組織，可以在一定程度上替代模型強度和計算預算，為構建更高效的機器學習工程智能體提供了新思路。該論文已被ICML 2026深度學習代碼研討會（DL4C）接收。