arXiv 于 2026 年 1 月 27 日收录了一篇题为《Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models》（掩码离散序列模型中成对互信息的神经估计）的新论文，作者为 Jai Sharma 等三人，提交类别为机器学习（cs.LG），并交叉涉及人工智能（cs.AI）与信息论（cs.IT）。该论文共 6 页、含 3 幅图，目前正投稿至 ICML 2026。
论文关注的核心问题是：在掩码扩散模型（Masked Diffusion Models，MDM）中，变量之间的依赖关系对于模型的可解释性以及高效生成至关重要，但这类模型主要只暴露边缘条件分布，并不显式地表示变量之间的相互依赖。也就是说，模型自身并不会直接告诉研究者“哪些位置彼此关联、关联有多强”，这为理解模型内部信念以及设计更高效的解码策略带来了障碍。
针对这一缺口，作者提出了一个神经框架，能够直接从预训练 MDM 的隐藏状态中估计成对条件互信息（pairwise conditional mutual information，MI）。具体而言，该方法利用由模型自身条件分布计算出的真实互信息作为监督信号，训练一个估计器。这样一来，估计器所捕捉到的是模型内部关于依赖结构的“信念”，而不仅仅是从数据中统计出的相关性。
该估计器的一个重要特性是：它可以在一次前向传播中预测出完整的互信息矩阵，而无需对每一对变量逐一计算。这一能力直接支撑了所谓“MI 引导的并行解码”——通过互信息识别出条件独立的变量子集，从而对这些变量同时进行解码，而不必像传统顺序解码那样逐个位置生成。
作者在两个任务上评估了该方法：数独（Sudoku）求解和基于 ESM-C 的蛋白质序列生成。实验结果显示，所得到的互信息图谱能够恢复已知的结构约束——例如数独中的行列与宫格约束、蛋白质序列中的结构性依赖；同时在保持生成质量的前提下，相比顺序解码，推理阶段的前向传播次数减少了 3 至 5 个数量级，并且优于基于熵的并行化方法。
论文的贡献在于把“依赖结构估计”从一种事后分析工具转变为可用于推理加速的实用组件：一方面提升了掩码扩散模型的可解释性，让研究者能够直观看到模型认为哪些变量彼此耦合；另一方面为并行解码提供了有原理依据的调度策略，减少了生成所需的计算开销，并在这两个具体领域验证了其有效性。