深度學習模型在訓練集之外的未見數據上往往表現良好，但為何會具備這種泛化能力，至今仍是開放的研究問題。這篇由Marco Miani等五位作者完成的論文，試圖用PAC-Bayes理論從參數空間的幾何結構出發給出解釋。
研究在獨立同分布數據的假設下展開。PAC-Bayes方法能夠給出泛化誤差的上界，而該上界的緊緻程度取決於所選的參數分佈是否覆蓋了足夠多、體積足夠大的低損失解區域。也就是説，要得到一個有意義的界，需要構造一個既落在低損失區域、又在參數空間中佔據較大體積的分佈。
作者引入Fisher信息度量來為參數空間賦予幾何結構。在這一幾何中，參數之間的距離反映的是函數輸出的變化程度，而Fisher信息矩陣的零特徵值方向則對應着不改變網絡實際功能的參數變化，即功能不變性。這一性質使得研究者可以沿着“不改變功能”的方向進行探索，而不必擔心破壞模型已有的表現。
基於此，論文定義並分析了一種Fisher對齊的參數分佈。該分佈具備兩項同時成立的性質：第一，由於探索被約束在功能不變的方向上，它能夠保證低損失；第二，它的參數對數體積很大，且該體積與Fisher信息矩陣零特徵值的個數成正比。這兩點恰好對應PAC-Bayes界所需的“低損失”與“大體積”兩個條件。
由此得到的高概率泛化誤差上界與Fisher信息矩陣的期望秩成正比。換言之，期望的Fisher秩越低，泛化誤差的上界就越緊，模型在理論上的泛化表現就越好。這一結論為“期望Fisher秩”這一量賦予了明確的泛化意義，也提示它可作為衡量模型泛化潛力的一個幾何指標。
論文的摘要列於arXiv的cs.LG（機器學習）分類，提交時間為2026年10月23日，DOI為10.48550/arXiv.2610.33208。該工作並未提出新的訓練算法，而是提供了一個理解深度網絡為何泛化的理論視角，將Fisher信息譜結構與PAC-Bayes界直接聯繫起來。