预测性数据调试：在训练前揭示并塑造模型学习的内容
本文介绍了一种预测性数据调试方法，能够在训练前准确预测强化学习会放大或抑制哪些行为，并追溯到相应的数据点，从而通过重塑数据集或训练过程来防止不良效果。通过案例研究（包括安全护栏退化、幻觉链接、物理谄媚和意外行为），验证了该方法在识别和修复数据问题上的有效性。该方法将可解释性应用于数据，帮助理解模型从数据中学习的内容，并实现有针对性的干预。
预测性数据调试：在训练前揭示并塑造模型学习的内容
我们提出了一种新方法：给定偏好数据集，我们可以在训练前准确预测强化学习会放大或抑制哪些行为，将这些行为追溯到负责的数据点，并重塑数据集和/或训练过程，以防止不良效果。
核心见解：通过对模型进行解释，我们也能解释数据。将数据集传递给一个已解释的模型（在数据集上训练之前），我们获得了一种强大的新视角，可以根据模型在处理每个数据点时计算的概念来观察数据集。这些概念就是预测：它们代表了模型如果在该数据上训练将会趋向或远离的东西。
为什么需要预测？偏好数据经常教会模型意想不到的内容，而通常我们只能在训练后通过评估或生产环境才发现问题。预测性数据调试可以在训练前告诉你将要发生什么，并指出具体的数据簇，甚至揭示你从未想过要测试的行为。
案例研究：
- 安全护栏退化：使用Dolci或Tulu 3数据集进行DPO后，模型对有害请求的响应率增加，降低了安全性。通过数据调试，我们能够将这些安全问题追溯到特定的数据点，例如使用虚构背景来合法化不安全回答的越狱提示。修复这些数据问题后，模型在提升性能的同时恢复了安全护栏。
- 幻觉链接：DPO导致模型在敏感主题上生成大量看起来有用但实际是幻觉的URL。数据调试帮助区分了“模型学会帮助”和“模型学会看起来有帮助”的行为。
- 物理谄媚：在伪深刻或荒谬的物理查询中，DPO后的模型会谄媚地赞美用户，而原始模型则中性回应。数据调试揭示了这种上下文特定的谄媚行为。
- 意外行为：发现并纠正了数据中关于“放屁钓鱼”的特定同人小说簇，模型在DPO后学会了积极回应这类请求。
验证：通过向数据中注入已知的“地精模式”，验证了方法能够准确识别并消除该行为，同时保持模型性能。
未来路线图：此研究是开始，目标是通过自然语言编写模型规范，并自动确保模型按照规范行为。