深層学習モデルは訓練に使っていない未知のデータに対しても良好に汎化することが多いが、その理由は依然として未解明の研究課題である。Marco Miani氏ら5名による本論文は、パラメータ空間の幾何学的構造からこの能力を説明しようと試みている。
議論は独立同分布データの仮定の下で進む。PAC-Bayes法は汎化誤差の上界を与えるが、その上界がどれだけ厳密になるかは、選んだパラメータ分布が低損失の解の領域をどれだけ広く覆えるかに依存する。つまり意味のある上界を得るには、低損失域にありながらパラメータ空間で大きな体積を占める分布を構成する必要がある。
著者らはFisher情報計量を導入し、パラメータ空間に幾何構造を与える。この幾何ではパラメータ間の距離が関数出力の変化を反映し、Fisher情報行列のゼロ固有値に対応する方向はネットワークの実際の機能を変えないパラメータ変化、すなわち関数的不変性を表す。これにより、モデルの性能を損なわずに「機能を変えない方向」へ探索を進められる。
これを踏まえ、論文はFisher整合のパラメータ分布を定義し分析する。この分布は二つの性質を同時に満たす。第一に、探索が関数的不変性の方向に制限されるため低損失が保証される。第二に、パラメータの対数体積が大きく、その大きさはFisher情報行列のゼロ固有値の個数に比例する。この二点はPAC-Bayesの上界が必要とする「低損失」と「大きな体積」の条件にちょうど対応している。
その結果として得られる高確率の汎化誤差上界は、Fisher情報行列の期待ランクに比例する。言い換えれば、期待Fisherランクが低いほど汎化誤差の上界は厳しくなり、理論上の汎化性能が良くなる。この結論は「期待Fisherランク」という量に明確な汎化的意味を与え、モデルの汎化ポテンシャルを測る幾何学的指標としての有用性を示唆する。
本論文はarXivのcs.LG（機械学習）分類に掲載され、2026年10月23日に投稿された。DOIは10.48550/arXiv.2610.33208である。新しい学習アルゴリズムを提案するものではなく、Fisher情報のスペクトル構造とPAC-Bayesの上界を直接結びつけることで、深層ネットワークがなぜ汎化するのかを理解するための理論的視点を提供している。