结构化渐进知识激活：面向LLM驱动的神经架构搜索

神经架构搜索（NAS）旨在自动设计高效神经网络，但面临一个关键挑战：如何在昂贵的评估过程中，既整合已有的架构知识，又探索新的设计。大型语言模型（LLM）因其能将丰富的架构和编码先验知识转化为可执行的代码修改，被视为NAS的有力助手。然而，实际应用中，看似局部的修改往往引发非局部的行为和性能变化，这是因为单一编辑可能无意中耦合多个相互影响的功能因子，研究者将这一现象称为“功能纠缠”。针对这一问题，来自Zhen Liu、Yuhan Liu和Jingwen Fu的研究团队提出了结构化渐进知识激活（SPARK）方法。该方法的核心思想是显式选择要修改的功能因子，并基于该因子对编辑进行条件限制。这种因子条件编辑减少了纠缠副作用，使架构修改更具针对性和可靠性。在CLRS-DFS基准测试中，SPARK实现了28.1倍的样本效率加速，并带来了22.9%的相对改进在外分布（OOD）准确率上。该论文于2026年4月10日提交至arXiv，主题涵盖机器学习（cs.LG）和人工智能（cs.AI）。这一成果表明，通过结构化知识激活，LLM驱动的NAS可以更高效地探索架构空间，同时保持对已知知识的充分利用。该方法为自动化机器学习领域提供了新的思路，有望加速神经网络设计的创新。此外，SPARK通过因子条件编辑显著降低了功能纠缠带来的副作用，使得架构修改更加可靠和高效。实验结果表明，该方法不仅在样本效率上取得了巨大提升，还在分布外泛化能力上表现出色，这对于实际应用中的鲁棒性至关重要。未来的研究可以进一步探索SPARK在更广泛的任务和架构上的适用性，以及如何与其他NAS技术结合以进一步提升性能。