言語拡散モデル（LDM）の急速な発展は、言語処理における自己回帰モデルの支配的地位を揺るがしている。自己回帰モデルが逐次的に単語を生成するのに対し、LDMは柔軟な任意順序のデコード戦略を採用しており、高速なデコードを可能にする一方で、新たな信頼性問題を引き起こす可能性がある。そのリスクを深く理解するため、北京大学などの研究者Yichuan Mo氏らは、LDM専用の包括的な信頼性ベンチマーク「TrustLDM」を提案した。
TrustLDMは、安全性、プライバシー、公平性の3つの次元から異なるLDMアーキテクチャを評価し、複数カテゴリの静的ポストコンテキストを含むテストシナリオをカバーしている。複数のLDMモデルに対する実証評価の結果、ユーザープロンプトのみを提供した場合、LDMは一般的に高い信頼性を示すことがわかった。しかし、悪意のあるポストコンテキストがマスクされた応答に付加されると、モデルのアライメント行動は著しく低下する。これは、攻撃者が応答部分に悪意のある内容を注入することで、モデルを有害な出力に誘導できることを意味する。
さらに、ポストコンテキストの長さが長ければ長いほど影響が大きくなるわけではなく、デコード順序や生成長も評価結果に影響を与えることが明らかになった。たとえば、特定のデコード順序は悪意のあるコンテキストの効果を増幅させる可能性があり、長い生成内容はその影響を希釈する可能性がある。これらの発見は、LDMの信頼性における複雑さと動的特性を浮き彫りにしている。
脆弱な設定を体系的に特定するため、研究チームは自動評価フレームワーク「TrustLDM-Auto」も提案した。このフレームワークはLDMのデコードの柔軟性を利用し、信頼性問題を引き起こす可能性のある設定を自動的に探索する。実験では、評価されたすべてのモデルと次元において、このフレームワークが顕著な弱点を発見できることが示された。著者らはこの研究がコミュニティによるより信頼性の高いLDMの構築に役立つことを期待しており、コードは公開されている（https://github.com/PKU-ML/TrustLDM）。