近日，一篇題為“What Your Model Threw Away and Why You'll Want It Back: Masking, Fingerprinting, and Privacy from Discarded Geometry”的論文提出了一種新框架，用於理解機器學習模型在具有對稱性的輸入數據中所丟棄的信息。該工作由Zachary P. Bradshaw完成，論文編號arXiv:2607.13046。
在許多實際應用中，輸入數據往往具有天然的對稱性，例如分子在三維空間中的旋轉不變性，或球面圖像的Möbius變換不變性。然而，訓練後的模型可能無法完全捕捉這些對稱性，導致部分信息被“丟棄”。作者旨在量化這種丟棄，並利用其進行有益的應用，如數據遮蔽、模型指紋識別和隱私保護。
論文的核心概念是“零纖維”（null fiber）和“穩定子”（stabilizer）。給定一個李羣G在空間V上的表示π，以及一個學習函數f: V → ℝ，零纖維定義為羣元素中那些對輸入x施加逆作用後f輸出不變的集合。當零纖維不依賴於x時，它等於f的穩定子，即f在其下不變的最大子羣。對於光滑的實值函數，預像定理保證在一般的輸入點處，零纖維的維數至少為dim G - 1，這一結論與模型架構無關。
對於作用於自身上的緊緻羣，論文利用Peter-Weyl定理給出了零纖維和穩定子的譜特徵刻畫，將它們與f的傅里葉係數矩陣聯繫起來。此外，作者提出了一種基於牛頓迭代的高效計算方法，通過軌道映射計算零纖維元素，其計算成本僅相當於幾次梯度評估。
實驗方面，作者在SO(3)羣下的分子性質預測任務和Möbius羣PSL(2, ℂ)下的球面圖像分類任務上驗證了該框架的有效性。實驗展示瞭如何利用零纖維進行數據遮蔽（masking），即故意丟棄部分信息以保護隱私；模型指紋識別（fingerprinting），即通過模型對特定對稱性的敏感性來識別模型；以及隱私保護計算，確保在不泄露敏感信息的情況下進行推理。該框架還統一適用於經典神經網絡和變分量子電路。
總體而言，這項工作為理解和利用機器學習模型所丟棄的對稱信息提供了一個嚴謹的數學框架，並展示了其在安全和隱私領域的潛力。未來，該方法有望被擴展到更一般的羣作用和非光滑函數，以及更多實際應用場景。