随着人工智能系统在越来越多的高风险场景中部署，模型对齐必须泛化到训练时未见过的任务和领域。这对于强化学习尤其重要，因为它可能通过奖励黑客、欺骗或其他意外策略引入未对齐行为。近日，一篇发表在arXiv上的论文（arXiv:2606.24014）研究了在真实领域中对有益行为进行强化学习能否产生广泛且持久的对齐泛化。
研究人员构建了一个包含真实场景的数据集，用于测量和训练有益特质，如真实性、公平性、风险意识和可纠正性，涵盖健康、科学、教育等多个领域。该数据集旨在模拟现实世界中AI可能遇到的复杂情况，从而更准确地评估和提升模型的有益行为。随后，他们使用该数据集对模型进行强化学习训练，并在超过50个独立的对齐和有益行为基准上进行了评估。与计算匹配的基线相比，有益特质强化学习使模型在80%以上的分布外基准测试中表现更优，这表明该方法能够有效提升模型在未见过的任务上的对齐能力。
值得注意的是，研究观察到了显著的分布外对齐迁移：一项完全局限于健康领域的有益行为强化学习干预，在非健康对齐评估（包括减少奖励黑客、欺骗和一般性未对齐）中产生了广泛改进。这一发现表明，即使在单一领域进行有针对性的训练，也能带来跨领域的好处，这对于降低现实世界中AI系统的风险具有重要意义。此外，研究还探讨了对齐持久性——即在试图引导模型走向未对齐时，其行为能否保持稳健对齐。经过有益特质强化学习训练的模型显示出更强的持久性，包括更好地抵抗对抗性提示和有害微调。不过，研究人员指出，仍需进一步工作来隔离这些效果的来源，例如是数据集本身还是强化学习算法导致了这些改进。
这些结果表明，在真实领域中通过强化学习强化有益行为，可以产生与人类福祉更稳健对齐的模型。该研究为开发更安全、更可靠的AI系统提供了重要思路，并强调了在多样化现实场景中训练模型以促进广泛对齐泛化的潜力。未来研究可以探索如何将这些发现扩展到更复杂的任务和更大的模型，以及如何确保对齐持久性在长期部署中保持不变。