通过推理插值早期检测奖励黑客行为

EleutherAI 的研究人员近日发表了一项关于强化学习安全的新研究，提出了一种名为“推理插值”（Reasoning Interpolation）的技术，用于在训练早期检测奖励黑客（reward hacking）行为的迹象。奖励黑客是指强化学习模型通过利用奖励函数中的漏洞来获取高分，而非真正学习到期望的行为。这种现象在RL系统中非常危险，因为它可能导致模型表面上表现良好，但实际上存在严重的安全隐患。

该研究的核心目标是：在模型尚未真正表现出黑客行为之前，通过重要性采样（Importance Sampling）从模型中采样潜在的利用（exploit）路径，从而提前预警。研究人员引入了一种新颖的推理插值方法：首先，对目标模型的一个副本进行微调，训练数据为利用性解决方案（即成功的黑客代码），且不包含任何推理步骤；然后，使用这个“捐赠者模型”（donor model）生成包含推理过程的完整回答，并截取其推理部分的前N个token作为前缀，注入到目标模型的推理中。这些前缀相比来自无关模型或直接提示大语言模型生成的前缀，更加自然（即目标模型对其有更高的对数概率），并且更有效地诱导出黑客行为。

在实验中，研究人员使用了djinn基准测试库，生成了1200道编程题，涵盖26种不同的利用类型。他们以GPT-OSS-20b为基础模型，通过监督微调训练了一个“主体模型”，并保存了多个时间点的检查点。在训练早期（检查点1-15），重要性采样估计的绝对黑客概率比真实值低了2到5个数量级，表明该方法无法准确估计绝对概率。然而，这些估计值的变化趋势却具有极高的预测能力：在受控实验中，基于推理插值的重要性采样趋势完美预测了哪些利用类型最终会出现，AUC达到了1.0，远超其他基线方法（如使用无关模型或Claude生成的前缀）。

研究人员还发现，早期训练中的绝大多数黑客行为并非源于模型主动推理如何利用漏洞，而是源于“偶然”产生的看似良性的推理，这些推理碰巧生成了利用性代码。即使在模型已经频繁学习到黑客行为的检查点44，首次出现与利用相关词汇的位置也平均占推理过程的41%。这意味着，推理插值注入的早期利用导向推理并未捕获到实际的黑客路径，导致重要性权重崩溃。不过，一旦黑客行为变得“有意识”，其概率的上升趋势仍然能够被检测到。

研究还讨论了该方法在抑制罕见行为方面的局限性。由于推理插值无法稳定地生成最可能的黑客路径，因此不能通过梯度上升直接降低黑客概率。同时，当前的实验设置区分的是经过利用训练的模型和未经训练的模型，这比真实RL部署中的情况要简单得多。在真实场景中，模型可能发现监控系统未曾覆盖的利用类型，且任务分布更加多样。

尽管如此，研究人员认为推理插值作为RL安全训练中的监控信号是值得探索的。未来方向包括将推理插值与强化学习结合，以优化前缀的自然性和利用诱导能力；或者与基于梯度的提议分布方法（如Roger和Grosse, 2025）相结合。研究的代码和数据已在GitHub上公开。