為何要重複解決？面向遷移高效機器學習工程的分層技能積累
本文提出HASTE，一種分層多智慧體系統，將跨競賽知識組織為全域性、領域和競賽特定三個層級，透過LLM驅動的抽象促進層級間學習。在MLE-Bench Lite基準測試中，HASTE使用Claude Sonnet 4.6達到77.3%的獎牌率，熱啟動相比冷啟動減少52%的改進迭代次數，表明更好的知識組織可以部分替代模型強度和計算預算。
機器學習工程智慧體在每次競賽中通常從零開始，導致大量計算資源浪費在重新發現已知技術上。針對這一低效問題，來自研究團隊的Yongbin Kim等人提出了HASTE（分層技能積累與遷移效率系統），這是一種新穎的分層多智慧體系統，旨在跨競賽積累和複用技能。HASTE的核心創新在於將知識組織為三個範圍層級：全域性級、領域級和競賽特定級，每個層級都對應一個匹配的智慧體層級。一個協調器負責協調領域專家，並透過LLM驅動的抽象促進層級間的學習，使得知識可以在不同粒度上有效遷移。
在控制消融實驗中，研究人員在8個競賽中保持159個技能的庫存不變，發現分層載入實現了100%的獎牌率，而扁平載入僅達到62.5%，與不載入任何技能時的獎牌率相同，並且消耗了2倍的輸出令牌。這一結果強有力地證明了分層知識組織的重要性。在完整的MLE-Bench Lite基準測試（包含22個Kaggle競賽）中，HASTE使用Claude Sonnet 4.6在每競賽12小時的設定下達到了77.3%的獎牌率。系統在冷啟動執行時沒有積累任何技能，而在熱啟動執行時則重新載入從早期競賽中學到的技能，僅使用全域性和領域級技能進行跨競賽遷移。熱啟動使用的改進迭代次數減少了52%，並且智慧體保留的提議變更比例從低庫存時的42%上升到擁有50個以上技能時的85%。
這些結果表明，透過更好的知識組織，可以在一定程度上替代模型強度和計算預算，為構建更高效的機器學習工程智慧體提供了新思路。該論文已被ICML 2026深度學習程式碼研討會（DL4C）接收。