大規模言語モデルにおける毒性の測定と緩和：包括的な再現研究

大規模言語モデル（LLM）は、ウェブ規模のコーパスで訓練されると、訓練データから毒性パターンを本質的に吸収します。これにより「毒性劣化」、つまり無害なプロンプトでも有害な出力を引き起こす現象が生じます。この現象は実世界での展開に重大なリスクをもたらすため、モデルの有用性を維持しながら安全性を確保する効果的な緩和戦略が必要です。

包括的な再現研究により、DExperts（デコーディング時エキスパート）という推論時緩和手法の有効性が評価されました。この手法はモデルの再訓練を必要とせずに生成を方向付けます。研究は3つの体系的なフェーズで構成されました：(1) 標準GPT-2モデルでRealToxicityPromptsを用いたベースライン毒性測定の確立、(2) DExpertsの実装と明示的毒性緩和の評価、(3) 対抗的ToxiGenデータセットを用いた暗黙的ヘイトスピーチに対するストレステスト。

経験的結果は、DExpertsが明示的毒性ベンチマークでほぼ完璧な安全率（100%）を達成する一方、対抗的で暗黙的なヘイトスピーチに対しては脆弱であり、安全率が98.5%に低下することを確認しました。さらに、この手法は約10倍のレイテンシペナルティ（生成あたり0.2秒から2.0秒）を導入し、リアルタイム展開シナリオに課題を投げかけます。

この研究は、明示的毒性と暗黙的毒性の緩和における堅牢性のギャップを強調することで、AI安全性に関する研究の蓄積に貢献します。多様なヘイトスピーチパターンに汎化でき、かつ法外な計算コストを伴わない、より洗練されたアプローチの必要性が強調されています。研究はMokshit Suranaらによって行われ、2026年5月13日にarXivに提出され、主題は計算と言語（cs.CL）および機械学習（cs.LG）に及びます。この結果はモデル選定、推論コスト、製品能力、評価基準に影響を与える可能性があります。