RLHF選好データにおける評価者状態バイアス：監査フレームワーク
この研究は、強化学習における人間のフィードバック（RLHF）において、評価者の心理状態が選好ラベルに影響を与える系統的な交絡因子を特定しました。論文は、このようなバイアスを検出するための監査フレームワークを提案し、関連概念、反証可能な予測、およびパイロットスタディ計画を定義しています。
新しい研究論文が、人間のフィードバックからの強化学習（RLHF）における見過ごされがちなバイアスの原因を精査しています：評価者の状態です。論文は、Elena KoptevaとVitaliy Hlynianyi-Zhukによって執筆され、2026年4月14日にarXivに提出されました。ラベル付けプロセス中に評価者が持続的なストレスや困難な状況にある場合、その選好が時間とともに変化する可能性があると指摘します。その結果、選好データには応答品質の判断だけでなく、評価者の感情状態もエンコードされることになります。この状態依存の変化は、通常の意見の相違やランダムなラベルノイズとは異なります。これは同様の条件下で働く評価者間で共有され、報酬モデリングとポリシー最適化を通じて伝播する可能性があります。
この課題に対処するため、著者らは「評価者状態バイアス」の仮説を立て、監査フレームワークを開発しました。このフレームワークは、評価者状態シフト（評価者の選好の系統的変化）、評価者状態交絡（状態と品質判断の混在）、および相関評価者状態バイアス（複数の評価者が同時に状態バイアスを示し、系統的影響を及ぼす）の3つの主要概念を定義しています。さらに、論文では「生存レベル感情真正性」を、語彙、語用論、談話、および安全性関連の特徴を用いて測定可能な応答パターンとして導入しています。
研究者らは5つの反証可能な予測を導き出し、初期監査のための効果量閾値を設定しました。また、公開された指示チューニングモデルに適用可能な監査プロトコルとパイロットスタディ計画の概要を示しています。この研究の目的は、特定のデプロイ済みモデルの訓練履歴を推測することではなく、RLHFデータにおける系統的バイアスのもっともらしくテスト可能な原因として評価者状態バイアスを隔離することにあります。
この研究は、RLHFデータの品質に新たな視点を提供し、ラベル付けプロセスにおける心理的要因がAIアライメントに重要な影響を与える可能性があることを強調しています。今後の研究では、このフレームワークを既存および将来の選好データセットに適用し、潜在的なバイアスリスクを軽減することが期待されます。この論文のDOIは10.48550/arXiv.2607.16195であり、人工知能分野（cs.AI）に分類されています。