掩码离散序列模型中成对互信息的神经估计

在机器学习和生成模型领域，理解变量之间的依赖关系对于模型的可解释性和生成效率至关重要。然而，当前主流的掩码扩散模型（MDM）仅能提供边缘条件分布，无法显式表达变量间的依赖结构，这限制了其在需要高效推理的场景下的应用。针对这一问题，来自研究团队的最新工作提出了一种神经框架，能够直接从预训练掩码扩散模型的隐藏状态中估计成对条件互信息（MI），从而揭示模型内部的依赖结构。

该框架的核心在于训练一个神经网络估计器，该估计器以模型的隐藏状态为输入，以从模型自身条件分布计算出的真实互信息为监督信号，学习预测变量间的成对条件互信息。经过训练后，该估计器可在单次前向传播中输出完整的互信息矩阵，准确捕捉模型对依赖结构的内部信念。基于这一矩阵，研究团队进一步开发了互信息引导的并行解码方法。通过识别条件独立的变量子集，该方法能够在生成过程中并行生成多个变量，显著加速推理过程。

为了验证方法的有效性，研究团队在数独求解和蛋白质序列生成两个任务上进行了评估。在数独任务中，互信息地图成功恢复了数独规则所隐含的结构约束，例如同一行中的数字必须互不相同。在使用ESM-C模型的蛋白质生成任务中，该方法相较于传统的顺序解码，将推理时的前向传播次数减少了3至5倍，同时保持生成质量不变。此外，与基于熵的并行化基线方法相比，该方法在生成质量上表现更优。

该研究的成果已于2026年1月提交至ICML 2026，并计划公开发布相关代码和数据集。这一工作不仅为掩码扩散模型的高效解码提供了新的思路，还增强了模型的可解释性，有望在更广泛的离散序列生成任务中发挥重要作用，例如自然语言处理、生物信息学和组合优化等领域。