ニューラルネットワークの量子化は、全精度モデルの性能を可能な限り忠実に保つ離散的なパラメータ表現を見つけることを目的としている。しかし、離散制約を課すとパラメータが最適化された極小値から離れてしまい、一般に性能が低下する。最近の研究によると、低損失の全精度解は孤立しているのではなく、損失景観内の連結した低損失部分空間に属しており、その中では損失がほぼ同じ最小値を維持する。これらの部分空間からサンプリングされたモデルは多様性があり、高い精度を保持している。ここから、「量子化モデルを全精度モデルの低損失部分空間内に構築し、それによって性能を自動的に維持できるか？」という疑問が生じる。
Vladimir Protsenkoら4名による論文「Neural Network Quantization by Learning Low-Loss Subspaces」はこの問題に取り組んでいる。彼らは重み空間において量子化を意識した線形パスを学習し、損失を最小化するように最適化することで、低損失部分空間を構築する。得られた部分空間の中点は設計上量子化に適しており、その中点を直接量子化するだけで、量子化を意識したトレーニングに匹敵する性能が得られることを示した。
この手法は従来の量子化手法とは大きく異なる。ストレートスルー推定器に依存せず、トレーニング中に明示的な離散化操作も行わない。これにより、従来の量子化で問題となる離散化によるパラメータの摂動を回避し、重み量子化に対する新たな視点を提供する。
本論文は2026年6月23日にarXivに投稿され、コンピュータビジョンとパターン認識（cs.CV）に分類されている。30ページ、7図からなる。低損失部分空間内のモデルサンプルは多様性があり高い精度を維持するが、この手法は量子化モデルをそのような部分空間に自然に配置するように設計されており、性能を保ちながら量子化を実現する。
全体として、この研究は低損失部分空間学習に基づく量子化の新しいパラダイムを提案し、ニューラルネットワークの圧縮と高速化の分野に新たな道を開く可能性がある。その核心的な貢献は、量子化問題を重み空間における量子化に適した低損失部分空間の探索に変換し、部分空間の中点を直接量子化することで高性能な量子化モデルを取得することにある。ストレートスルー推定器や明示的な離散化といった複雑なトレーニングテクニックを必要としない点が特徴である。