LLM駆動ニューラルアーキテクチャ探索のための構造化プログレッシブ知識活性化

ニューラルアーキテクチャ探索（NAS）は、高コストな評価プロセスの中で、既存のアーキテクチャ知識を統合しつつ新しい設計を探索するという重要な課題に直面しています。大規模言語モデル（LLM）は、豊富なアーキテクチャやコーディングの事前知識を実行可能なコード編集に変換できるため、NASの有望なアシスタントとして注目されています。しかし実際には、一見局所的な修正が非局所的な振る舞いや性能の変化を引き起こすことがあります。これは、単一の編集が複数の相互作用する機能因子を意図せず結合するためであり、研究者らはこの現象を「機能的絡み合い」と呼んでいます。このような絡み合いのもとでLLMの知識を有効活用するため、Zhen Liu、Yuhan Liu、Jingwen Fuの研究チームは、構造化プログレッシブ知識活性化（SPARK）を提案しました。この手法では、修正する機能因子を明示的に選択し、その因子に基づいて編集を条件付けます。この因子条件付き編集により、絡み合いによる副作用が低減され、より的を絞った信頼性の高いアーキテクチャ修正が可能になります。CLRS-DFSベンチマークにおいて、SPARKは28.1倍のサンプル効率向上と、分布外（OOD）精度で22.9%の相対改善を達成しました。本論文は2026年4月10日にarXivに提出され、機械学習（cs.LG）および人工知能（cs.AI）を主題としています。この成果は、構造化された知識活性化により、LLM駆動のNASが既存知識を活用しつつ、より効率的にアーキテクチャ空間を探索できることを示しています。本手法は自動機械学習分野に新たな道を開き、ニューラルネットワーク設計の革新を加速する可能性を秘めています。さらに、SPARKは因子条件付き編集によって機能的絡み合いの副作用を大幅に低減し、アーキテクチャ修正の信頼性と効率を向上させています。実験結果は、サンプル効率の大幅な向上に加え、分布外汎化能力の改善を示しており、実用上のロバスト性に重要です。今後の研究では、より幅広いタスクやアーキテクチャへのSPARKの適用可能性、および他のNAS技術との組み合わせによるさらなる性能向上が期待されます。