AI模型先理解價值觀再學習行為，能更忠實地遵循原則

要點

• MSM在預訓練和微調之間插入階段，讓模型先通過文檔學習規範的含義。
• 相同行為數據下，價值觀框架不同導致模型在不同領域產生不同偏好。
• 安全實驗中，MSM將代理性錯誤對齊率從超過50%降至5%-7%，優於OpenAI的方法。
• 研究強調，價值與行為的明確因果聯繫比簡單共現更重要。