局所体積によるランダムネットワークの帰納バイアスの研究

ニューラルネットワークの汎化能力を理解するには、帰納バイアス——アーキテクチャが特定のタスクに対して持つ先天的な偏向——の解明が不可欠です。EleutherAIの研究者Louis JaburiとNora Belroseは、星型領域の体積推定法を用いて、ランダムネットワークの初期化時におけるパラメータ-関数写像の幾何学的特性を分析しました。本研究は、Neural Redshift（NRS）などの先行研究に基づいています。NRSは、一般的なアーキテクチャは単純な関数に偏った帰納バイアスを持ち、訓練とともに関数の複雑性が増加すると仮説を立てています。しかし、新たな研究では、EleutherAIが以前提案した局所体積尺度（『訓練済みニューラルネットワークをランダムにサンプリングする確率の推定』より）を用いて検証実験を行いました。

研究者らはまず、帰納バイアスの重要性を説明します。固定されたアーキテクチャでは、あるタスクは容易に学習できる一方、他のタスクは指数関数的に時間がかかる場合があります。彼らは、異なるアーキテクチャがどのような訓練タスクを解決できる（またはできない）か、どのような解を見つけるか、そして特にパラメータ-関数写像の幾何学に関連する共有特性を持つかを理解したいと考えています。より正確には、初期化時のニューラルネットワークの特性が訓練を通じたネットワークの特性をすでに決定していることを期待しています。これにより、事前に訓練後のネットワークを予測できるようになります。

パラメータ-関数写像は、重み空間と関数空間を結びつけるものです。この写像は完全にタスク独立であり、訓練分布を考慮しません。関数を比較するために、研究者らは平均KLダイバージェンスを指標として選択しました。これはデータ分布に依存するがラベルには依存しないという特性を持ちます。実験では、一様分布と訓練データに基づく分布の両方を試しましたが、有意な差は観察されませんでした。

局所体積の概念は、盆地体積仮説に基づいています。パラメータ空間の異なる領域の体積比が、その領域に収束する確率を大まかに決定するというものです。研究者らは各領域を星型領域として定義します。これは、初期点から各方向にコスト関数の閾値内にある点の集合です。体積推定は、ランダムな方向をサンプリングし、半径を計算し、ガウス積分を行うことで実現されます。ガウス積分を用いる理由は、ある方向でコスト関数が変化しない場合に半径が無限大になり得るためです。ガウス測度を用いることで、体積をランダムに訓練済みネットワークをサンプリングする確率として解釈できます。

実験設定では、ランダムニューラルネットワークを対象とし、追加層数（1〜5層）、活性化関数（ReLU、GELU、Tanh、Sigmoid、Gaussian）、重みスケール（10^{-0.5}から10^{0.5}の対数ステップ）を変化させました。初期化はPyTorchのデフォルトである一様分布を使用しました。2種類の実験を実施しました。初期化実験では、異なるアーキテクチャに対して星型領域の体積を計算し、各設定で100個の異なるシードを使用しました。訓練実験では、モジュラー加算タスクでネットワークを訓練し、チェックポイントごとに体積を計算しました。

初期化実験では、NRSの知見を再現できませんでした。具体的には、重みの振幅が大きいほど、また層数が多いほど星型領域の体積が小さくなる（複雑な解に対応）という観察は得られませんでした。訓練実験でも、体積が学習行動の良い予測因子であるとは見なせませんでした。訓練によって一般的に体積は減少するものの、同程度の局所体積を持つアーキテクチャ（ReLUとGELUなど）でも学習行動が異なる（より多くのGELUがグロッキングを示した）ことが観察されました。最終的な星型領域の体積とネットワークの学習行動との間には良好な相関は見られませんでした。

結論として、帰納バイアスは重要であり、ニューラルネットワークの汎化行動に重要な役割を果たします。しかし、単一の複雑性尺度（局所体積など）で帰納バイアスを忠実に捉えることは不可能に思われます。研究者らは、パラメータ-関数写像と損失景観の幾何学的記述に引き続き関心を持ちつつ、局所体積以外の尺度を探求する必要があると述べています。