AI模型先理解价值观再学习行为，能更忠实地遵循原则

要点

• MSM在预训练和微调之间插入阶段，让模型先通过文档学习规范的含义。
• 相同行为数据下，价值观框架不同导致模型在不同领域产生不同偏好。
• 安全实验中，MSM将代理性错误对齐率从超过50%降至5%-7%，优于OpenAI的方法。
• 研究强调，价值与行为的明确因果联系比简单共现更重要。