模型丢弃的信息为何值得找回：基于丢弃几何的遮蔽、指纹识别与隐私保护
本文提出一个框架，用于分析机器学习模型丢弃的信息，特别是那些输入数据具有李群对称性的模型。通过定义“零纤维”和“稳定子”概念，作者量化了模型对群作用的不可见性，并利用Peter-Weyl定理给出紧凑群的谱特征刻画。该框架在分子性质预测（SO(3)群）和球面图像分类（Möbius群）上进行了实验验证，展示了在数据遮蔽、模型指纹识别和隐私保护计算中的应用。其计算效率高，仅需几次梯度计算即可估计零纤维元素。
近日，一篇题为“What Your Model Threw Away and Why You'll Want It Back: Masking, Fingerprinting, and Privacy from Discarded Geometry”的论文提出了一种新框架，用于理解机器学习模型在具有对称性的输入数据中所丢弃的信息。该工作由Zachary P. Bradshaw完成，论文编号arXiv:2607.13046。
在许多实际应用中，输入数据往往具有天然的对称性，例如分子在三维空间中的旋转不变性，或球面图像的Möbius变换不变性。然而，训练后的模型可能无法完全捕捉这些对称性，导致部分信息被“丢弃”。作者旨在量化这种丢弃，并利用其进行有益的应用，如数据遮蔽、模型指纹识别和隐私保护。
论文的核心概念是“零纤维”（null fiber）和“稳定子”（stabilizer）。给定一个李群G在空间V上的表示π，以及一个学习函数f: V → ℝ，零纤维定义为群元素中那些对输入x施加逆作用后f输出不变的集合。当零纤维不依赖于x时，它等于f的稳定子，即f在其下不变的最大子群。对于光滑的实值函数，预像定理保证在一般的输入点处，零纤维的维数至少为dim G - 1，这一结论与模型架构无关。
对于作用于自身上的紧致群，论文利用Peter-Weyl定理给出了零纤维和稳定子的谱特征刻画，将它们与f的傅里叶系数矩阵联系起来。此外，作者提出了一种基于牛顿迭代的高效计算方法，通过轨道映射计算零纤维元素，其计算成本仅相当于几次梯度评估。
实验方面，作者在SO(3)群下的分子性质预测任务和Möbius群PSL(2, ℂ)下的球面图像分类任务上验证了该框架的有效性。实验展示了如何利用零纤维进行数据遮蔽（masking），即故意丢弃部分信息以保护隐私；模型指纹识别（fingerprinting），即通过模型对特定对称性的敏感性来识别模型；以及隐私保护计算，确保在不泄露敏感信息的情况下进行推理。该框架还统一适用于经典神经网络和变分量子电路。
总体而言，这项工作为理解和利用机器学习模型所丢弃的对称信息提供了一个严谨的数学框架，并展示了其在安全和隐私领域的潜力。未来，该方法有望被扩展到更一般的群作用和非光滑函数，以及更多实际应用场景。