Oyster-II：基于强化学习的语言模型建设性安全对齐框架
大型语言模型（LLM）在安全性和有用性之间面临挑战。传统的拒绝式对齐策略会拒绝敏感查询，但可能无法满足用户合理需求。Oyster-II提出基于强化学习（RL）的建设性安全对齐框架，采用Zero-RL范式和多阶段RL策略，解决了Oyster-I中监督微调（SFT）方案的安全泛化不足和安全思维链过度泛化问题。在多个基准测试中，Oyster-II在安全维度上全面超越Qwen3-14B和Oyster-I，性能堪比Qwen3-Max和Qwen3.5-397B。
大型语言模型（LLM）在众多应用中展现出卓越能力，但如何同时确保安全性、有用性和可信度仍是一个持久挑战。传统的拒绝式安全对齐策略虽然能减少有害内容生成，却往往无法满足用户的合理需求——对于敏感查询，系统可能直接拒绝回答，而不是提供安全且有建设性的信息。针对这一问题，此前提出的Oyster-I框架引入了建设性安全范式，旨在超越盲目拒绝，转向更周到的、面向响应的安全对齐。然而，Oyster-I基于监督微调（SFT）的方案存在两个关键缺陷：一是对分布外场景的安全性泛化不足；二是出现所谓的安全思维链（CoT）过度泛化现象，即安全推理模式被过度应用到良性查询上，反而损害了有用性和用户体验。
为了克服这些局限，研究人员提出了Oyster-II——一种基于强化学习（RL）的建设性安全对齐框架。Oyster-II采用Zero-RL范式，并采用多阶段强化学习策略。Zero-RL范式意味着模型从零开始学习安全策略，而不依赖预先定义的奖励模型；多阶段策略则逐步优化模型在安全与有用性之间的平衡。具体而言，Oyster-II首先在安全相关数据上进行初始RL训练，然后通过多轮迭代强化学习进一步细化，使模型能够更好地辨别何时需要安全推理以及何时应保持正常的有用响应。这种方法从根本上有别于Oyster-I的监督微调，因为它通过反馈信号动态调整模型行为，而不是静态地从标注数据学习。研究人员特别指出，这种训练方式有效抑制了安全思维链的过度泛化，因为模型在良性查询上学会了抑制不必要的安全推理。
在广泛的基准测试评估中，Oyster-II在安全维度上全面超越了Qwen3-14B以及其前身Oyster-I。更令人瞩目的是，Oyster-II的跨规模性能达到了与更大规模模型（如Qwen3-Max和Qwen3.5-397B）相当的水平。这意味着基于强化学习的建设性安全对齐方法不仅能有效提升LLM的安全性，还能保持甚至增强其有用性，为构建更可信赖的AI系统提供了新路径。该研究由Jiyang Guan等9位作者完成，论文于2026年7月3日提交至arXiv，编号2607.02914。未来工作可能包括将Zero-RL范式扩展到其他对齐目标，以及探索更高效的多阶段训练策略。