语言模型中风险规避的分布外泛化
该研究探讨了训练人工智能在低风险场景下表现出的风险规避行为是否能够泛化到极高风险场景，作为应对AI对齐失败的一种安全措施。作者引入了RiskAverseOOD基准测试，并初步实验表明，通过多种方法（如SFT、DPO、激活引导）训练的Qwen3-8B模型，在高风险下选择安全“合作”选项的比例从基线2%提升至70%（SFT和tie训练）、52%（DPO）和39%（激活引导）。风险规避行为跨越98个数量级部分泛化，但一致性仍不足以作为可靠的安全机制。
在人工智能安全领域，一个关键挑战是如何确保AI系统在可能偏离对齐目标时仍能保持安全。一种有前景的思路是训练AI对资源表现出风险规避，这样即使AI出现对齐错误，它们也会倾向于选择低风险、低回报的策略（如合作），而非高风险、高回报的策略（如反抗），从而限制潜在危害。然而，这一策略的有效性依赖于一个关键假设：在低风险赌注下训练出的风险规避行为能够泛化到天文数字般的高风险场景。
来自卡内基梅隆大学等机构的研究人员（Kristina Zhang等六位作者）在提交至ICML 2026的论文“Out-of-Distribution Generalization of Risk Aversion in Language Models”中系统研究了这一问题。他们引入了名为RiskAverseOOD的基准测试，旨在定量评估风险规避的分布外泛化能力。该基准通过设计不同量级风险的决策场景（从极低到极高赌注），测量模型在低风险下学习的风险规避是否能在高风险下保持。
实验中，研究团队以Qwen3-8B作为主要研究对象，采用多种训练方法使其在低风险场景中偏好安全选项。这些方法包括监督微调（SFT）、直接偏好优化（DPO）以及激活引导（activation steering）。基线测试显示，在未经过风险规避训练时，模型选择安全“合作”选项的比例仅为2%。经过训练后，SFT和tie训练方法将这一比例提升至约70%，DPO达到52%，激活引导达到39%。更为重要的是，模型的风险规避行为在跨越98个数量级的赌注范围内得到了部分泛化，表明学习到的风险偏好并非局限于训练时的低风险情境。
另一项实验中，研究人员使用微调的奖励模型对风险规避、风险中性和过度风险规避的推理进行评分，结果该模型能够以99.6%的成对准确率正确识别风险规避的推理。此外，这些效应在多个规模（Qwen3-1.7B和Qwen3-14B）和模型家族（Gemma-3-12B-IT和Llama-3.1-8B-Instruct）中得到了复现，增强了结论的普适性。
尽管结果令人鼓舞，论文作者指出，目前的风险规避泛化一致性尚不足以作为可靠的安全机制。实现足够高的稳定性仍是一个开放问题。这一研究为AI安全领域提供了新的思路和工具，但也强调了在将此类方法部署到实际系统前，需要进一步克服泛化一致性的挑战。