近日，一篇題為“What Your Model Threw Away and Why You'll Want It Back: Masking, Fingerprinting, and Privacy from Discarded Geometry”的論文提出了一種新框架，用於理解機器學習模型在具有對稱性的輸入資料中所丟棄的資訊。該工作由Zachary P. Bradshaw完成，論文編號arXiv:2607.13046。
在許多實際應用中，輸入資料往往具有天然的對稱性，例如分子在三維空間中的旋轉不變性，或球面影像的Möbius變換不變性。然而，訓練後的模型可能無法完全捕捉這些對稱性，導致部分資訊被“丟棄”。作者旨在量化這種丟棄，並利用其進行有益的應用，如資料遮蔽、模型指紋識別和隱私保護。
論文的核心概念是“零纖維”（null fiber）和“穩定子”（stabilizer）。給定一個李群G在空間V上的表示π，以及一個學習函式f: V → ℝ，零纖維定義為群元素中那些對輸入x施加逆作用後f輸出不變的集合。當零纖維不依賴於x時，它等於f的穩定子，即f在其下不變的最大子群。對於光滑的實值函式，預像定理保證在一般的輸入點處，零纖維的維數至少為dim G - 1，這一結論與模型架構無關。
對於作用於自身上的緊緻群，論文利用Peter-Weyl定理給出了零纖維和穩定子的譜特徵刻畫，將它們與f的傅立葉係數矩陣聯絡起來。此外，作者提出了一種基於牛頓迭代的高效計算方法，透過軌道對映計算零纖維元素，其計算成本僅相當於幾次梯度評估。
實驗方面，作者在SO(3)群下的分子性質預測任務和Möbius群PSL(2, ℂ)下的球面影像分類任務上驗證了該框架的有效性。實驗展示瞭如何利用零纖維進行資料遮蔽（masking），即故意丟棄部分資訊以保護隱私；模型指紋識別（fingerprinting），即透過模型對特定對稱性的敏感性來識別模型；以及隱私保護計算，確保在不洩露敏感資訊的情況下進行推理。該框架還統一適用於經典神經網路和變分量子電路。
總體而言，這項工作為理解和利用機器學習模型所丟棄的對稱資訊提供了一個嚴謹的數學框架，並展示了其在安全和隱私領域的潛力。未來，該方法有望被擴充套件到更一般的群作用和非光滑函式，以及更多實際應用場景。