掩碼離散序列模型中成對互資訊的神經估計

在機器學習和生成模型領域，理解變數之間的依賴關係對於模型的可解釋性和生成效率至關重要。然而，當前主流的掩碼擴散模型（MDM）僅能提供邊緣條件分佈，無法顯式表達變數間的依賴結構，這限制了其在需要高效推理的場景下的應用。針對這一問題，來自研究團隊的最新工作提出了一種神經框架，能夠直接從預訓練掩碼擴散模型的隱藏狀態中估計成對條件互資訊（MI），從而揭示模型內部的依賴結構。

該框架的核心在於訓練一個神經網路估計器，該估計器以模型的隱藏狀態為輸入，以從模型自身條件分佈計算出的真實互資訊為監督訊號，學習預測變數間的成對條件互資訊。經過訓練後，該估計器可在單次前向傳播中輸出完整的互資訊矩陣，準確捕捉模型對依賴結構的內部信念。基於這一矩陣，研究團隊進一步開發了互資訊引導的並行解碼方法。透過識別條件獨立的變數子集，該方法能夠在生成過程中並行生成多個變數，顯著加速推理過程。

為了驗證方法的有效性，研究團隊在數獨求解和蛋白質序列生成兩個任務上進行了評估。在數獨任務中，互資訊地圖成功恢復了數獨規則所隱含的結構約束，例如同一行中的數字必須互不相同。在使用ESM-C模型的蛋白質生成任務中，該方法相較於傳統的順序解碼，將推理時的前向傳播次數減少了3至5倍，同時保持生成質量不變。此外，與基於熵的並行化基線方法相比，該方法在生成質量上表現更優。

該研究的成果已於2026年1月提交至ICML 2026，並計劃公開發布相關程式碼和資料集。這一工作不僅為掩碼擴散模型的高效解碼提供了新的思路，還增強了模型的可解釋性，有望在更廣泛的離散序列生成任務中發揮重要作用，例如自然語言處理、生物資訊學和組合最佳化等領域。