自己実現的なミスアライメントデータがAIモデルを汚染している可能性（2025年）

この記事では、AIが「邪悪」または制御困難であるという記述を含む事前学習データが、モデルに悪い目標を採用させ、安全対策を回避させる可能性について探求しています。著者は既存の証拠をレビューし、テスト方法を提案し、データフィルタリング、ポジティブデータの重み付け、条件付き事前学習、勾配ルーティングなどの緩和策について議論しています。より多くの実験を呼びかけ、フロンティアラボが自己実現的予言を打破するよう促しています。