言語モデルにおけるリスク回避の分布外汎化
AIが低リスク状況で学習したリスク回避行動が、天文学的に高リスクな状況にも汎化するかを調査。RiskAverseOODベンチマークを導入し、Qwen3-8Bを用いた実験では、SFT、DPO、アクティベーションステアリングにより協力率がベースラインの2%から70%（SFT）、52%（DPO）、39%（アクティベーションステアリング）に向上。リスク回避は98桁の規模にわたって部分的に汎化するが、信頼できる安全機構としての一貫性は未達成。
人工知能の安全性において、AIが目標から逸脱した場合のフェイルセーフとして、資源に対してリスク回避的な振る舞いを学習させることが提案されている。誤った方向に最適化されても、リスク回避的なAIは協力のような低リスク・低報酬の戦略を好み、反乱のような高リスク・高報酬の戦略を避けるため、被害を限定できる。しかし、実際に学習できるのは低リスクのギャンブルにおけるリスク回避のみであり、安全性が確保されるためには、そのリスク回避が天文学的に高リスクな状況にも汎化する必要がある。
カーネギーメロン大学などの研究者（Kristina Zhang氏ら6名）は、ICML 2026ワークショップに提出した論文「Out-of-Distribution Generalization of Risk Aversion in Language Models」でこの問題を体系的に研究した。彼らはRiskAverseOODベンチマークを導入し、リスク回避の分布外汎化能力を定量化している。このベンチマークは、極低リスクから極高リスクまで様々な規模の賭けにおける意思決定シナリオを設計し、低リスクで学習したリスク回避が高リスクでも維持されるかを測定する。
実験では、Qwen3-8Bを主な対象とし、複数の手法（教師ありファインチューニングSFT、直接選好最適化DPO、アクティベーションステアリング）を用いて低リスク状況で安全な選択をするよう訓練した。ベースラインでは、モデルが安全な「協力」オプションを選ぶ割合はわずか2%だったが、訓練後、SFTとタイトレーニングでは約70%、DPOでは52%、アクティベーションステアリングでは39%に上昇した。さらに重要なことに、リスク回避行動は98桁にわたる賭けの規模で部分的に汎化しており、学習されたリスク選好が訓練時の低リスク状況に限定されないことを示している。
別の実験では、ファインチューニングされた報酬モデルが、リスク回避的推論とリスク中立的または過度にリスク回避的な選択肢を99.6%のペアワイズ精度で正しく識別した。これらの効果は、異なるスケール（Qwen3-1.7B、Qwen3-14B）およびモデルファミリー（Gemma-3-12B-IT、Llama-3.1-8B-Instruct）でも再現され、結果の一般性が確認された。
結果は有望だが、論文著者らは、現時点ではリスク回避の汎化の一貫性が信頼できるフェイルセーフとして機能するには不十分であると指摘している。十分な一貫性を達成することは未解決の課題であり、今後の研究が求められる。本研究はAI安全性のための新たな方向性とツールを提供する一方で、実システムへの展開には汎化の一貫性という課題を克服する必要があることを強調している。