LLMを用いた閉ループ特徴チャネル構成のスケーリング

本研究では、大規模言語モデルに基づく閉ループ特徴チャネル構成探索を拡張した。以前の研究では、LLMに実行可能コードを生成させ、精度フィードバックを利用してニューラルネットワークの幅を直接最適化する方法が提案され、有望な初期結果が得られていた。しかし、これらの結果は比較的疎な有効評価に基づいており、より密なサンプリング条件下でも同様の最適化挙動が観測されるか、また追加のアーキテクチャ規則性が現れるかは未確認であった。

これを検証するため、研究チームは1サイクルあたりの候補ネットワーク数を250に拡大した。実験は8サイクルで構成され、合計2000の候補が生成され、タスクとメタデータのフィルタリング後、462の検証済みCIFAR-100評価が得られた。サイクルごとの平均精度は正の線形トレンド（傾き9.87e-4、p=0.043）を示し、高性能フロンティアはさらに強く改善した。最高精度は0.3144から0.3676に向上し、トップ5およびトップ10のサイクル平均も上昇傾向を示した。

拡大実験はパラメータ効率の改善も明らかにした。最良モデルは0.3676の精度を11.8Mパラメータで達成したのに対し、初期の高性能モデルは0.3144の精度に166.5Mパラメータを必要としており、10倍以上の差があった。

精度以外にも、より大規模なサンプルからアーキテクチャの規則性が浮かび上がった。検証済み候補の41.8%が2の累乗でないチャネル幅を使用しており、従来の設計慣習を打破している。さらに、最強モデルは構造化されたチャネル割り当てパターンを共有しており、初期幅は適度で、中期または後期のブロックが拡大していた。これらの発見は、初期研究で観測されたチャネル探索信号が転移可能であり、大規模評価によりより豊かな設計原理を抽出できることを示している。

本研究は、LLMによる自動ニューラルアーキテクチャ探索の可能性を示すとともに、将来の効率的なチャネル構成設計への指針を提供する。関連論文はarXiv（ID: 2607.20516）で公開されている。