語言模型中風險規避的分佈外泛化
該研究探討了訓練人工智慧在低風險場景下表現出的風險規避行為是否能夠泛化到極高風險場景，作為應對AI對齊失敗的一種安全措施。作者引入了RiskAverseOOD基準測試，並初步實驗表明，透過多種方法（如SFT、DPO、啟用引導）訓練的Qwen3-8B模型，在高風險下選擇安全“合作”選項的比例從基線2%提升至70%（SFT和tie訓練）、52%（DPO）和39%（啟用引導）。風險規避行為跨越98個數量級部分泛化，但一致性仍不足以作為可靠的安全機制。
在人工智慧安全領域，一個關鍵挑戰是如何確保AI系統在可能偏離對齊目標時仍能保持安全。一種有前景的思路是訓練AI對資源表現出風險規避，這樣即使AI出現對齊錯誤，它們也會傾向於選擇低風險、低迴報的策略（如合作），而非高風險、高回報的策略（如反抗），從而限制潛在危害。然而，這一策略的有效性依賴於一個關鍵假設：在低風險賭注下訓練出的風險規避行為能夠泛化到天文數字般的高風險場景。
來自卡內基梅隆大學等機構的研究人員（Kristina Zhang等六位作者）在提交至ICML 2026的論文“Out-of-Distribution Generalization of Risk Aversion in Language Models”中系統研究了這一問題。他們引入了名為RiskAverseOOD的基準測試，旨在定量評估風險規避的分佈外泛化能力。該基準透過設計不同量級風險的決策場景（從極低到極高賭注），測量模型在低風險下學習的風險規避是否能在高風險下保持。
實驗中，研究團隊以Qwen3-8B作為主要研究物件，採用多種訓練方法使其在低風險場景中偏好安全選項。這些方法包括監督微調（SFT）、直接偏好最佳化（DPO）以及啟用引導（activation steering）。基線測試顯示，在未經過風險規避訓練時，模型選擇安全“合作”選項的比例僅為2%。經過訓練後，SFT和tie訓練方法將這一比例提升至約70%，DPO達到52%，啟用引導達到39%。更為重要的是，模型的風險規避行為在跨越98個數量級的賭注範圍內得到了部分泛化，表明學習到的風險偏好並非侷限於訓練時的低風險情境。
另一項實驗中，研究人員使用微調的獎勵模型對風險規避、風險中性和過度風險規避的推理進行評分，結果該模型能夠以99.6%的成對準確率正確識別風險規避的推理。此外，這些效應在多個規模（Qwen3-1.7B和Qwen3-14B）和模型家族（Gemma-3-12B-IT和Llama-3.1-8B-Instruct）中得到了復現，增強了結論的普適性。
儘管結果令人鼓舞，論文作者指出，目前的風險規避泛化一致性尚不足以作為可靠的安全機制。實現足夠高的穩定性仍是一個開放問題。這一研究為AI安全領域提供了新的思路和工具，但也強調了在將此類方法部署到實際系統前，需要進一步克服泛化一致性的挑戰。