蛋白質語言模型（如ESM-2）透過在大規模蛋白質序列上訓練，學習了豐富的殘基表示，在蛋白質功能預測、結構預測等任務中表現出色。然而，這些模型的內部表示很難被人類理解，因為它們將結構和進化訊號編碼在密集的潛在空間中。這種缺乏可解釋性限制了它們在需要透明度和可審計性的場景中的應用，例如藥物靶點發現或疾病機制研究。
為了應對這一挑戰，來自多所機構的研究人員（Siddhant Dutta等）提出了一種名為SoftBlobGIN的新方法，旨在為蛋白質語言模型提供結構解釋。該研究已被提交至NeurIPS 2026，全文19頁，包含8張圖和11張表。核心思想是將語言模型的表示投影到蛋白質接觸圖上，然後應用一個輕量級的圖神經網路進行可微的子結構池化。
具體來說，SoftBlobGIN首先從ESM-2中提取每個殘基的表示，並將其投影到由蛋白質結構確定的接觸圖上。然後，一個輕量級的圖同構網路透過可微的Gumbel-softmax機制將節點分組為“blob”，這些blob代表了粗粒度的功能子結構。模型透過對這些blob進行池化來執行結構感知的訊息傳遞，從而學習到與下游任務相關的表示。整個框架是即插即用的：它可以與任何預訓練的蛋白質語言模型結合使用，無需重新訓練，且僅增加約110萬個引數。
在實驗方面，研究人員在酶分類（EC編號預測）和結合位點檢測兩個任務上評估了SoftBlobGIN。在酶分類任務中，SoftBlobGIN達到了92.8%的準確率和0.898的宏F1分數，大幅超越了使用ESM-2線性探測的方法。更重要的是，該方法能夠提供直接可審計的結構解釋：透過GNNExplainer，模型識別出的重要殘基與已知的活性位點高度吻合，並且這些殘基在空間上形成了功能簇和催化接觸模式。在結合位點檢測任務上，SoftBlobGIN將殘基AUROC從0.885（ESM-2線性探測）提升到0.983，表明僅從語言模型特徵中無法恢復這些結構資訊。
此外，模型學習到的blob分割槽本身具有解釋性。這些blob自動將殘基分組為功能子結構，而無需任何活性位點標籤。實驗表明，包含註釋活性位點殘基的blob的重要性值平均是其他blob的1.85倍（相關係數ρ=0.339，p=0.009），這驗證了blob分割槽在捕捉功能模組方面的有效性。除了這兩個任務，SoftBlobGIN還在更廣泛的ProteinShake基準上進行了測試：在Gene Ontology預測中達到0.733的Fmax，在結合位點檢測中AUROC為0.969，證明了其泛化能力。
這項工作的意義在於它為蛋白質語言模型提供了一個可解釋的結構伴侶，使得這些強大模型的預測變得更加透明和可審計。這對於生物醫學研究、藥物發現以及需要監管審查的應用場景尤為重要。未來的方向可能包括將SoftBlobGIN擴充套件到其他型別的生物分子，或者與更強大的語言模型整合。