最近arXivに掲載された論文で、研究者らはLEMURニューラルネットワークデータセットエコシステム内で異種4エキスパート混合エキスパート（MoE4）アーキテクチャを系統的に探索するための自動大規模検索パイプラインを提案した。この研究は、手作りされた異種MoE参照モデルを基盤とし、手動設計を決定論的コードアセンブリ生成器に置き換える。この生成器は、LEMURデータベースから基本アーキテクチャファミリーをMoE4アンサンブルに体系的に組み合わせる。各アンサンブルは、温度スケーリング、mixup拡張、コサインアニーリング学習率スケジューリングを備えた畳み込みゲーティングネットワークによって制御される。
研究チームはNVIDIA RTX 4090を1基使用し、28日間の検索キャンペーンを実施した。この期間中、パイプラインは197バッチにわたって4,463の候補モデルを生成し、そのうち1,021モデルが正常に評価された。この規模はアーキテクチャ探索における自動化の可能性を示す一方で、検索戦略の設計における重大な問題も明らかにした。
重要な発見はカバレッジバイアスである。生成器がitertools.combinationsを用いてアルファベット順に列挙するため、探索された空間全体（理論上23,751通りの4ファミリー組み合わせのうちわずか4.8%）が単一のファミリーであるAirNetに固定されていた。つまり、評価されたすべての組み合わせにAirNetが含まれており、検索の多様性が著しく制限され、他のファミリー間の組み合わせ効果を包括的に評価できなかった。著者らはこのバイアスを正確に特徴づけ、生成器の根本原因を特定し、将来の検索が組み合わせ空間全体を均等にカバーできるよう層別ランダムサンプリングによる修正を提案した。
AirNetに固定された範囲内での分析では、ShuffleNetとMobileNetV3が一貫して最高精度のアンサンブルを共同生成し、平均精度は最大0.632に達した。対照的に、FractalNetとMNASNetは低収穫ファミリーとして識別され、将来のキャンペーンでの除外が推奨された。これらの知見は異種MoEアーキテクチャ設計に実用的な指針を提供するが、検索空間のバイアスにより制限されているため、修正後の検索でさらに検証する必要がある。
論文のパイプライン、分析成果物、修正済み生成器は、オープンソースのNNGPTプロジェクトの一部としてGitHubで公開されており、コミュニティによる再現とさらなる研究を可能にしている。論文は8ページ、図2点で、機械学習、コンピュータビジョン、ソフトウェア工学を対象とし、ニューラルネットワーク設計における自動アーキテクチャ探索の可能性と課題を示している。