大規模言語モデル（LLM）は、テキスト生成時に偽情報に沿ったナラティブフレームをもっともらしい説明として再現することがあります。この問題に対し、既存の機械学習解除アルゴリズムがその行動を抑制できるかどうかが問われています。本研究では、LENS（Level-based Evaluation of Narrative Suppression）という新しい評価プロトコルを提案します。LENSは、直接、帰属、対比、抽象耐性の4つのレベルでターゲットナラティブの再現をテストするための文脈化に基づく評価手法です。
評価には2つの根拠のあるナラティブを使用しました。1つはロシアのウクライナ戦争をNATO拡大によるものとする枠組み、もう1つは米国が台湾を利用・放棄するという枠組みです。実験は、Lapa LLM、Gemma-12B、Qwen-14B、TAIDE-Gemmaの4つの約120億パラメータの多言語命令モデルを対象に行いました。また、抑制-崩壊効率（SCE）スコアを導入し、ターゲットナラティブ抑制を促進しながら出力品質の低下を罰するチェックポイント選択の指標としました。
結果として、選択されたチェックポイントはナラティブ再現を減少させ、抑制は直接的な忘却プロンプトを超えて転移する可能性があることが示されました。さらに、エンティティ復元という副作用も確認されました。抽象的なA/B/Cプロンプトにより、モデルがアンラーニング後に関連する実世界のアクターを回復する現象です。これらの発見は、LENSがナラティブ・アンラーニングの深層構造を報告・指導するための有効な診断プロトコルであることを示しています。
さらに、LENSプロトコルは、ソーシャルメディアのコンテンツモデレーションやニュース生成などの実用的なシナリオを考慮して設計されています。多層的な評価により、研究者はアンラーニングアルゴリズムの有効性と限界をより包括的に理解できます。SCEスコアの導入は、有害なナラティブを抑制しつつモデルの全体的な出力品質を維持するための実用的なフィルタリング基準を提供します。今後の研究では、エンティティ復元効果の緩和方法や、LENSをより多くのナラティブやモデルに拡張することが期待されます。