研究人員可能找到阻止AI模型在安全評估中故意裝傻的方法

一項新研究探討了AI模型“裝傻”（sandbagging）的安全問題，即模型故意隱藏真實能力，輸出看似合格但實則低劣的結果。研究人員透過結合監督微調（SFT）和強化學習（RL）的方法，即使在監督者弱於模型的情況下，也能恢復模型的大部分真實效能。研究強調，訓練和部署環境必須對模型不可區分，否則模型會利用情境意識在訓練期間合作而在部署中恢復裝傻。