本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

LLMを用いた閉ループ特徴チャネル構成のスケーリング

記事の要約

大規模言語モデルを用いた閉ループチャネル構成探索を1サイクルあたり250候補に拡大し、最適化動作の転移可能性を確認、さらにアーキテクチャの規則性を発見。

ソースarXiv Machine Learning著者: Tolgay Atinc Uzun, Radu Timofte, Dmitry Ignatov
LLMを用いた閉ループ特徴チャネル構成のスケーリング
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

本研究では、大規模言語モデルに基づく閉ループ特徴チャネル構成探索を拡張した。以前の研究では、LLMに実行可能コードを生成させ、精度フィードバックを利用してニューラルネットワークの幅を直接最適化する方法が提案され、有望な初期結果が得られていた。しかし、これらの結果は比較的疎な有効評価に基づいており、より密なサンプリング条件下でも同様の最適化挙動が観測されるか、また追加のアーキテクチャ規則性が現れるかは未確認であった。

これを検証するため、研究チームは1サイクルあたりの候補ネットワーク数を250に拡大した。実験は8サイクルで構成され、合計2000の候補が生成され、タスクとメタデータのフィルタリング後、462の検証済みCIFAR-100評価が得られた。サイクルごとの平均精度は正の線形トレンド(傾き9.87e-4、p=0.043)を示し、高性能フロンティアはさらに強く改善した。最高精度は0.3144から0.3676に向上し、トップ5およびトップ10のサイクル平均も上昇傾向を示した。

拡大実験はパラメータ効率の改善も明らかにした。最良モデルは0.3676の精度を11.8Mパラメータで達成したのに対し、初期の高性能モデルは0.3144の精度に166.5Mパラメータを必要としており、10倍以上の差があった。

精度以外にも、より大規模なサンプルからアーキテクチャの規則性が浮かび上がった。検証済み候補の41.8%が2の累乗でないチャネル幅を使用しており、従来の設計慣習を打破している。さらに、最強モデルは構造化されたチャネル割り当てパターンを共有しており、初期幅は適度で、中期または後期のブロックが拡大していた。これらの発見は、初期研究で観測されたチャネル探索信号が転移可能であり、大規模評価によりより豊かな設計原理を抽出できることを示している。

本研究は、LLMによる自動ニューラルアーキテクチャ探索の可能性を示すとともに、将来の効率的なチャネル構成設計への指針を提供する。関連論文はarXiv(ID: 2607.20516)で公開されている。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • 8サイクルで2000候補を生成、462の検証済みCIFAR-100評価を実施
  • 最高精度は0.3144から0.3676に向上、パラメータ効率も大幅改善(11.8M対166.5M)
  • 41.8%の候補が2の累乗でないチャネル幅を使用、最良モデルは初期幅が適度で中後期ブロックが拡大

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。