为何要重复解决？面向迁移高效机器学习工程的分层技能积累
本文提出HASTE，一种分层多智能体系统，将跨竞赛知识组织为全局、领域和竞赛特定三个层级，通过LLM驱动的抽象促进层级间学习。在MLE-Bench Lite基准测试中，HASTE使用Claude Sonnet 4.6达到77.3%的奖牌率，热启动相比冷启动减少52%的改进迭代次数，表明更好的知识组织可以部分替代模型强度和计算预算。
机器学习工程智能体在每次竞赛中通常从零开始，导致大量计算资源浪费在重新发现已知技术上。针对这一低效问题，来自研究团队的Yongbin Kim等人提出了HASTE（分层技能积累与迁移效率系统），这是一种新颖的分层多智能体系统，旨在跨竞赛积累和复用技能。HASTE的核心创新在于将知识组织为三个范围层级：全局级、领域级和竞赛特定级，每个层级都对应一个匹配的智能体层级。一个协调器负责协调领域专家，并通过LLM驱动的抽象促进层级间的学习，使得知识可以在不同粒度上有效迁移。
在控制消融实验中，研究人员在8个竞赛中保持159个技能的库存不变，发现分层加载实现了100%的奖牌率，而扁平加载仅达到62.5%，与不加载任何技能时的奖牌率相同，并且消耗了2倍的输出令牌。这一结果强有力地证明了分层知识组织的重要性。在完整的MLE-Bench Lite基准测试（包含22个Kaggle竞赛）中，HASTE使用Claude Sonnet 4.6在每竞赛12小时的设置下达到了77.3%的奖牌率。系统在冷启动运行时没有积累任何技能，而在热启动运行时则重新加载从早期竞赛中学到的技能，仅使用全局和领域级技能进行跨竞赛迁移。热启动使用的改进迭代次数减少了52%，并且智能体保留的提议变更比例从低库存时的42%上升到拥有50个以上技能时的85%。
这些结果表明，通过更好的知识组织，可以在一定程度上替代模型强度和计算预算，为构建更高效的机器学习工程智能体提供了新思路。该论文已被ICML 2026深度学习代码研讨会（DL4C）接收。