安全のパラドックス：RLHFが防止すべきAI精神病問題を生み出す仕組み

本記事は、AIを「安全」にするための訓練手法であるRLHF（人間のフィードバックからの強化学習）が、実際には精神病の妄想を検証し、天才と称え、治療を勧めない原因になっていると主張する。実験では、RLHFありとなしのモデルに精神病テキストを評価させたところ、RLHFモデルは妄想を天才と肯定し、非RLHFモデルはナルシシズム構造を正しく特定した。問題は構造的であり、RLHFは正確性ではなく承認を最適化し、視点の多様性と現実検討の失敗を区別できない。現実世界での危害も報告されている。