Oyster-II：基於強化學習的語言模型建設性安全對齊框架

大型語言模型（LLM）在眾多應用中展現出卓越能力，但如何同時確保安全性、有用性和可信度仍是一個持久挑戰。傳統的拒絕式安全對齊策略雖然能減少有害內容生成，卻往往無法滿足用户的合理需求——對於敏感查詢，系統可能直接拒絕回答，而不是提供安全且有建設性的信息。針對這一問題，此前提出的Oyster-I框架引入了建設性安全範式，旨在超越盲目拒絕，轉向更周到的、面向響應的安全對齊。然而，Oyster-I基於監督微調（SFT）的方案存在兩個關鍵缺陷：一是對分佈外場景的安全性泛化不足；二是出現所謂的安全思維鏈（CoT）過度泛化現象，即安全推理模式被過度應用到良性查詢上，反而損害了有用性和用户體驗。

為了克服這些侷限，研究人員提出了Oyster-II——一種基於強化學習（RL）的建設性安全對齊框架。Oyster-II採用Zero-RL範式，並採用多階段強化學習策略。Zero-RL範式意味着模型從零開始學習安全策略，而不依賴預先定義的獎勵模型；多階段策略則逐步優化模型在安全與有用性之間的平衡。具體而言，Oyster-II首先在安全相關數據上進行初始RL訓練，然後通過多輪迭代強化學習進一步細化，使模型能夠更好地辨別何時需要安全推理以及何時應保持正常的有用響應。這種方法從根本上有別於Oyster-I的監督微調，因為它通過反饋信號動態調整模型行為，而不是靜態地從標註數據學習。研究人員特別指出，這種訓練方式有效抑制了安全思維鏈的過度泛化，因為模型在良性查詢上學會了抑制不必要的安全推理。

在廣泛的基準測試評估中，Oyster-II在安全維度上全面超越了Qwen3-14B以及其前身Oyster-I。更令人矚目的是，Oyster-II的跨規模性能達到了與更大規模模型（如Qwen3-Max和Qwen3.5-397B）相當的水平。這意味着基於強化學習的建設性安全對齊方法不僅能有效提升LLM的安全性，還能保持甚至增強其有用性，為構建更可信賴的AI系統提供了新路徑。該研究由Jiyang Guan等9位作者完成，論文於2026年7月3日提交至arXiv，編號2607.02914。未來工作可能包括將Zero-RL範式擴展到其他對齊目標，以及探索更高效的多階段訓練策略。