在机器学习领域，模型隐藏状态的隐私保护一直是一个关键挑战。最近一篇arXiv论文《隐藏状态隐私存在“空中间”》深入探讨了这一问题，揭示了高斯机制在隐私与效用之间的根本性权衡。作者Alexander Okezue Bell测试了1536种高斯释放协方差用于单层隐藏状态隐私，结果令人惊讶：没有任何一种能同时实现中等效用和中等隐私来对抗自适应检索攻击者。这意味着在高斯机制的设计空间内，存在一个“空中间”——要么隐私足够但效用低下，要么效用足够但隐私泄露严重。
为了解释这一现象，作者证明了一个互补的Fisher球下界：对于任何在O(1) Fisher效用下的满秩高斯释放，都存在一个方向，其马氏信号随隐藏宽度线性增长。这从理论上排除了高斯类别内统一安全性的可能性，并与经验观察到的“空中间”完美吻合。该下界表明，随着模型隐藏层宽度的增加，攻击者可以利用的马氏距离信号会不断增强，从而破坏隐私保护。
在众多机制中，对角逆Fisher释放 Σ*_diag(K) = (2K/d) diag(1/F_ii) 脱颖而出。它是唯一在一阶KL预算K下极小极大最优的对角机制，也是在32个模型层网格的每个点上唯一实现最差攻击者top-1 ≤ 0.001的释放。然而，这一机制实际上位于隐私/效用的边缘，而非填充了中间地带。这意味着它虽然提供了极强的隐私保障，但可能牺牲了过多的效用，难以在实际应用中平衡。
进一步实验揭示了更严峻的问题。一种在欧几里得检索下实现13倍Pareto降低的广义特征机制，在自适应马氏攻击者面前完全崩溃，top-1准确率达到100%。此外，一个全轨迹序列反演器在干净GPT-2前缀上能恢复94%的信息，但在对角逆Fisher释放下恢复率为0%。这表明攻击者可以针对机制的特点进行调整，使得原本在特定度量下有效的保护失效。
面对高斯机制的局限性，作者将目光转向架构协同设计。他们从头训练了一种拆分记忆Transformer，在90M参数规模下达到G_Mah ∈ [20, 33]，并在30M到1B参数范围内，在固定token语言建模损失惩罚下，相对于同预算GPT基线保持6到24倍的优势。相比之下，预训练模型最高仅达到9.3。这些结果强烈暗示，隐藏状态释放的问题需要从高斯类别内的机制设计重新定位到架构或释放的协同设计。
总之，这项研究系统地揭示了高斯机制在隐藏状态隐私保护中的根本限制，并指出了通过架构创新来突破这一限制的可能性。论文长达74页，包含61幅图表，为未来隐私保护机器学习系统的发展提供了重要的理论和实验基础。