近年、機械学習モデルが入力データの対称性をどの程度活用しているかが注目されています。Zachary P. Bradshaw氏による論文「What Your Model Threw Away and Why You'll Want It Back: Masking, Fingerprinting, and Privacy from Discarded Geometry」(arXiv:2607.13046)は、リー群対称性を持つ入力に対してモデルが捨てる情報を解析する新しい枠組みを提案しています。
多くの実用的なデータは自然な対称性を持ちます。例えば、分子の3次元回転不変性や、球面画像のメビウス変換不変性などです。しかし、学習されたモデルはこれらの対称性を完全には捉えられず、一部の情報を「捨てて」しまいます。本研究は、この捨てられた情報を定量化し、データマスキング、モデルフィンガープリント、プライバシー保護などの有益な応用に活用することを目的としています。
論文の核となる概念は「ヌルファイバー」(null fiber)と「スタビライザー」(stabilizer)です。リー群Gの空間V上の表現πと学習関数f: V → ℝが与えられたとき、点x∈Vにおけるヌルファイバーは、xに逆作用を施してもfの出力が変わらない群要素の集合と定義されます。ヌルファイバーがxに依存しない場合、それはfのスタビライザー、すなわちfが不変となる最大の部分群と一致します。滑らかな実数値関数に対しては、プレイメージ定理により、一般的な入力点でのヌルファイバーの次元は少なくともdim G - 1であることが保証され、この結果はモデルアーキテクチャに依存しません。
コンパクト群が自身に作用する場合、Peter-Weylの定理を用いてヌルファイバーとスタビライザーのスペクトル特性をfのフーリエ係数行列で特徴付けることができます。さらに、ニュートン反復を用いた効率的な計算アルゴリズムが提案されており、軌道写像上の計算コストは数回の勾配評価と同程度です。
実験では、SO(3)群の下での分子特性予測タスクと、メビウス群PSL(2, ℂ)の下での球面画像分類タスクにおいて、提案手法の有効性が検証されました。具体的には、ヌルファイバーを用いたデータマスキング(プライバシー保護のための情報の意図的な破棄)、モデルフィンガープリント(モデル固有の対称性感度の利用)、およびプライバシー保護計算(機密情報を漏洩させない推論)の応用が実証されました。この枠組みは古典的ニューラルネットワークと変分量子回路の両方に統一して適用できます。
本研究は、機械学習モデルが捨てる対称性情報を理解し活用するための厳密な数学的基盤を提供し、セキュリティとプライバシーの分野での可能性を示しています。今後は、より一般的な群作用や非滑らかな関数への拡張、さらなる実用的応用が期待されます。