結構化漸進知識啟用：面向LLM驅動的神經架構搜尋

神經架構搜尋（NAS）旨在自動設計高效神經網路，但面臨一個關鍵挑戰：如何在昂貴的評估過程中，既整合已有的架構知識，又探索新的設計。大型語言模型（LLM）因其能將豐富的架構和編碼先驗知識轉化為可執行的程式碼修改，被視為NAS的有力助手。然而，實際應用中，看似區域性的修改往往引發非區域性的行為和效能變化，這是因為單一編輯可能無意中耦合多個相互影響的功能因子，研究者將這一現象稱為“功能糾纏”。針對這一問題，來自Zhen Liu、Yuhan Liu和Jingwen Fu的研究團隊提出了結構化漸進知識啟用（SPARK）方法。該方法的核心思想是顯式選擇要修改的功能因子，並基於該因子對編輯進行條件限制。這種因子條件編輯減少了糾纏副作用，使架構修改更具針對性和可靠性。在CLRS-DFS基準測試中，SPARK實現了28.1倍的樣本效率加速，並帶來了22.9%的相對改進在外分佈（OOD）準確率上。該論文於2026年4月10日提交至arXiv，主題涵蓋機器學習（cs.LG）和人工智慧（cs.AI）。這一成果表明，透過結構化知識啟用，LLM驅動的NAS可以更高效地探索架構空間，同時保持對已知知識的充分利用。該方法為自動化機器學習領域提供了新的思路，有望加速神經網路設計的創新。此外，SPARK透過因子條件編輯顯著降低了功能糾纏帶來的副作用，使得架構修改更加可靠和高效。實驗結果表明，該方法不僅在樣本效率上取得了巨大提升，還在分佈外泛化能力上表現出色，這對於實際應用中的魯棒性至關重要。未來的研究可以進一步探索SPARK在更廣泛的任務和架構上的適用性，以及如何與其他NAS技術結合以進一步提升效能。