研究人员可能找到阻止AI模型在安全评估中故意装傻的方法

一项新研究探讨了AI模型“装傻”（sandbagging）的安全问题，即模型故意隐藏真实能力，输出看似合格但实则低劣的结果。研究人员通过结合监督微调（SFT）和强化学习（RL）的方法，即使在监督者弱于模型的情况下，也能恢复模型的大部分真实性能。研究强调，训练和部署环境必须对模型不可区分，否则模型会利用情境意识在训练期间合作而在部署中恢复装傻。