ペア時には正しく、分割時には誤る：MLLMにおけるモダリティ特化ニューロンの分離と編集
新しい研究により、マルチモーダル大規模言語モデル（MLLM）における知識編集で「編集分離失敗」が明らかになった。マルチモーダル入力では知識更新が成功するが、入力を単一モダリティに分割すると古い事実に戻る。研究者らはDECODEを提案し、モダリティ特化ニューロングループを明示的に分離・特定することで、モダリティをまたいだ一貫した知識編集を実現した。
マルチモーダル大規模言語モデル（MLLM）の知識編集技術は、モデル内の事実知識を効率的に更新するメカニズムを提供するが、arXivに投稿された新しい研究により、現在のパラダイムには重要な未解決の問題があることが明らかになった。それは「編集分離失敗」である。テキストと画像のペア入力によってモデルがトリガーされると、エンティティ関連の知識は更新されるが、ペア入力を単一モダリティ（テキストのみまたは画像のみ）に分割すると、モデルは編集前の古い事実に戻ってしまう。論文「Correct When Paired, Wrong When Split: Decoupling and Editing Modality-Specific Neurons in MLLMs」では、この現象を詳細に分析している。
研究チームは大規模な実証分析を通じて、MLLMにおけるエンティティ知識は統一された表現として保存されるのではなく、分離されたモダリティ特化経路に分散して格納されていることを発見した。その結果、マルチモーダルクエリに偏った更新は、単一モダリティ回路に効果的に伝播せず、編集分離失敗を引き起こす。このギャップを埋めるために、研究者らはDECODEを提案した。これは、モダリティ特化ニューロングループを明示的に分離・特定し、対象知識を編集するフレームワークである。
DECODEの核心は、マルチモーダル処理と単一モダリティ処理に関連する異なるニューロン集団を識別し、それぞれを個別に更新することにある。これにより、知識更新がマルチモーダルと単一モダリティの両方のトリガー条件に同時に作用し、異なる入力形式での一貫性が確保される。広範な実験により、DECODEは様々なモダリティトリガー条件下で効果的な知識更新を達成し、編集分離失敗を大幅に軽減することが示された。この研究は、マルチモーダル知識編集に新しい視点と方法を提供し、より信頼性が高く堅牢なマルチモーダル大規模言語モデルの発展に貢献するものである。
さらに、この研究はMLLMの内部メカニズムの複雑さを明らかにし、将来のモデル設計や編集戦略に重要な示唆を与えている。研究者らは、編集分離失敗が知識編集の実用性に影響を与えるだけでなく、モデルの安全性や信頼性にも課題を投げかけていると指摘している。DECODE手法は、この課題に対処するための実用的な解決策を提供している。