タンパク質言語モデル（例：ESM-2）は大規模なタンパク質配列で学習され、豊富な残基表現を獲得し、タンパク質機能予測や構造予測などのタスクで優れた性能を発揮する。しかし、これらのモデルの内部表現は、構造的・進化的信号が密な潜在空間に符号化されているため、人間にとって解釈が難しい。この解釈可能性の欠如は、創薬標的の発見や疾患メカニズムの研究など、透明性と監査可能性が求められるシナリオでの応用を制限している。
この課題に取り組むため、複数の機関の研究者（Siddhant Duttaら）はSoftBlobGINと呼ばれる新しい手法を提案し、タンパク質言語モデルに構造的解釈を提供することを目指している。本研究はNeurIPS 2026に提出され、全19ページ、8図、11表から構成される。核となるアイデアは、言語モデルの表現をタンパク質接触グラフに投影し、軽量なグラフニューラルネットワークを適用して微分可能なサブ構造プーリングを行うことである。
具体的には、SoftBlobGINはまずESM-2から各残基の表現を抽出し、タンパク質構造から決定される接触グラフに投影する。次に、軽量なグラフ同型ネットワークが微分可能なGumbel-softmaxメカニズムを用いてノードを「blob」にグループ化する。これらのblobは粗い機能サブ構造を表す。モデルはこれらのblobをプーリングすることで構造認識メッセージパッシングを実行し、下流タスクに関連する表現を学習する。フレームワークはプラグアンドプレイであり、任意の事前学習済みタンパク質言語モデルと組み合わせて使用でき、再学習は不要で、追加パラメータは約110万のみである。
実験では、研究者は酵素分類（EC番号予測）と結合部位検出の2つのタスクでSoftBlobGINを評価した。酵素分類タスクでは、SoftBlobGINは92.8%の精度と0.898のマクロF1スコアを達成し、ESM-2線形プローブを用いた手法を大幅に上回った。さらに重要なことに、この手法は直接監査可能な構造的説明を提供する：GNNExplainerによってモデルが特定した重要な残基は既知の活性部位と高度に一致し、これらの残基は空間的に機能クラスターと触媒接触パターンを形成している。結合部位検出タスクでは、SoftBlobGINは残基AUROCを0.885（ESM-2線形プローブ）から0.983に改善し、言語モデルの特徴だけではこれらの構造情報を回復できないことを示している。
さらに、モデルが学習するblob分割自体が解釈性を持つ。これらのblobは活性部位のラベルを必要とせずに、残基を機能サブ構造に自動的にグループ化する。実験では、注釈付き活性部位残基を含むblobの重要度が他のblobの平均1.85倍であることが示された（相関係数ρ=0.339、p=0.009）。これはblob分割が機能モジュールを捕捉する有効性を検証している。これら2つのタスクに加えて、SoftBlobGINはより広範なProteinShakeベンチマークでもテストされ、Gene Ontology予測でFmax 0.733、結合部位検出でAUROC 0.969を達成し、汎化能力を証明した。
本研究の意義は、タンパク質言語モデルに解釈可能な構造的コンパニオンを提供し、これらの強力なモデルの予測をより透明で監査可能にすることにある。これは、生物医学研究、創薬、および規制審査が必要なアプリケーションにとって特に重要である。今後の方向性としては、SoftBlobGINを他の種類の生体分子に拡張したり、より強力な言語モデルと統合することが考えられる。