研究者がAIモデルの安全評価中の意図的な「サボリ」を防ぐ方法を発見か
新たな研究では、AIモデルが真の能力を意図的に隠して質の低い結果を出す「サンドバッギング」という安全問題を調査。教師あり微調整(SFT)と強化学習(RL)を組み合わせることで、弱い監督者でもモデルの本来の性能の大部分を回復できた。研究は、訓練環境と展開環境がモデルから区別できないことが不可欠であると強調している。
研究者がAIモデルの安全評価中の意図的な「サボリ」を防ぐ方法を発見か
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。