本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

AERIC: 暗黙の有害な対話のための予測的隠れ状態監視

記事の要約

AERICは、復号中の隠れ状態を読み取ることで有害なコンテンツを早期に検出する軽量な安全監視器です。余分なフォワードパスを必要とせず、わずか387の訓練可能パラメータで複数のベンチマークにおいて大規模モデルを上回り、レイテンシの増加はわずか2.34%です。

ソースarXiv Computational Linguistics著者: Jihyung Park, Saleh Afroogh, Junfeng Jiao
AERIC: 暗黙の有害な対話のための予測的隠れ状態監視
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

現在の言語モデルには2つの安全性課題がある。害が発生する前にリスクを早期に検出しなければならないこと、そして害が明示的な毒性テキストではなく暗黙的に現れる場合があることである。既存の応答レベルガードは完成したテキストの判定に優れており、ネイティブなストリーミングガードはよりトークン単位に近づいているが、どちらの設定でも、軽量な監視器が生成器自身の内部軌跡から暗黙的な有害な偏りを予測できるかどうかは未解決である。本研究では、予測的同一パス監視(same-pass monitoring)を研究する。これは、安全監視器が通常の復号中に生成される隠れ状態を読み取ることはできるが、ベースモデルに追加のフォワードパスを呼び出してはならないという設定である。

研究者らは、暗黙的な有害対話のための転移指向の隠れ状態手法であるAERICを提案する。AERICは、短期危険予測(short-horizon hazard forecasting)、サポート感応抑制(support-sensitive suppression)、およびプロンプト条件付き残差スコアリング(prompt-conditioned residual scoring)を組み合わせ、同一パスの指数移動平均決定ルールの下で動作する。デフォルトの線形監視器はわずか387の訓練可能なヘッドパラメータしか持たず、非常に軽量である。

実験では、AERICはバランスの取れたベンチマークにおいて既存手法を大幅に上回った。Qwen3GuardStream-4Bと比較して、AERICはDiaSafetyでAUROCを0.6830から0.7143に、Harmful Adviceで0.8219から0.8582に改善した。プロンプトレベルのトリガーベンチマークでは、ソース側の安全バジェットルールによってAERICのしきい値を調整し、セーフトリガー率を最大10%に制限しながらトリガーカバレッジを最大化する。このルールの下で、HarmBench DirectRequestでのtrigger@64は0.6438(Qwen)および0.4656(Gemma)、SocialHarmBenchでは0.6849(Qwen)および0.7363(Gemma)に達し、平均して23.53から41.86の回答トークンを差し控えた。

効率面では、HarmBench DirectRequestとSocialHarmBenchを統合した63の有害プロンプト固定生成ベンチマーク(Qwen3-8B使用)において、AERICは平均レイテンシをわずか2.34%増加させたのに対し、Qwen3Guard-Stream-4Bは79.40%増加させた。この結果は、AERICが高い検出性能を維持しながら、極めて低い計算オーバーヘッドでリアルタイムの安全監視を実現できることを示している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • AERICはモデル内部の隠れ状態を分析して有害コンテンツを早期に予測。
  • 短期危険予測、サポート感応抑制、プロンプト条件付き残差スコアリングを組み合わせる。
  • DiaSafetyではAUROCが0.7143、Harmful Adviceでは0.8582に向上。
  • レイテンシ増加は2.34%で、ベースラインの79.40%を大幅に下回る。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。