マスク付き拡散モデル（Masked Diffusion Models, MDMs）は離散系列生成において強力な性能を発揮するが、その内部では主に周辺条件付き分布が露出され、変数間の依存関係は明示的に表現されない。この不透明性はモデルの解釈性を制限するだけでなく、生成効率の向上を妨げる要因となっている。Jai SharmaらによるarXivプレプリントでは、この問題に対処するため、事前学習済みMDMの隠れ状態からペアワイズ条件付き相互情報量（Mutual Information, MI）を直接推定するニューラルフレームワークを提案している。
フレームワークの中心的なアイデアは、モデル自身の条件付き分布から計算した真のMIを教師信号として活用し、軽量なニューラル推定器を訓練することにある。推定器は隠れ状態を入力として受け取り、1回の順伝播で完全なMI行列を予測する。これにより得られるMI行列は、変数間の同時分布を明示的にモデル化することなく、モデルが内部的に持つ依存構造に関する信念を反映する。
研究チームはMI推定を数独とESM-Cを用いたタンパク質配列生成の2つのタスクに適用した。数独では、MIマップが行・列・ブロックに関する既知の制約を正しく回復し、推定器が構造的依存関係を捉えていることを示した。タンパク質配列生成でも、MIマップは残基間の重要な相互作用を明らかにした。
さらに重要な点として、MI行列は並列復号の指針として利用できる。MIは変数間の条件付き依存性を定量化するため、条件付き独立な変数部分集合を特定し、復号時にこれらの変数を並列に更新することが可能になる。実験の結果、従来の逐次復号と比較して、推論時の順伝播回数を3〜5倍（桁単位で）削減しながら生成品質を維持できることが示された。また、エントロピー基盤の並列化手法と比べても、MI誘導並列復号は優れた性能を発揮する。
本研究は、マスク付き拡散モデルの内部依存構造を理解し活用するための新たなツールを提供し、効率的な推論が求められる場面での離散系列生成の実用化を後押しする可能性がある。論文は6ページ・図3点で、ICML 2026に投稿予定であり、機械学習・人工知能・情報理論の学際領域に位置づけられる。