Oyster-II: 大規模言語モデルの建設的安全性アライメントのための強化学習
大規模言語モデル（LLM）は安全性、有用性、信頼性を同時に確保するという課題に直面している。従来の拒否指向のアライメント戦略は有害コンテンツ生成を抑制するが、正当なユーザーニーズに応えられないことが多い。Oyster-IIは、強化学習（RL）に基づく建設的安全性アライメントフレームワークを提案し、Zero-RLパラダイムと多段階RL戦略を採用する。これにより、Oyster-Iの教師付きファインチューニング（SFT）方式の2つの限界——分布外シナリオへの安全性汎化不足と安全性思考連鎖（CoT）の過剰汎化——を克服する。広範なベンチマーク評価で、Oyster-IIはQwen3-14BおよびOyster-Iを安全面で包括的に上回り、Qwen3-MaxやQwen3.5-397Bと同等のクロススケール性能を達成した。
大規模言語モデル（LLM）は多様なアプリケーションで目覚ましい能力を発揮していますが、安全性、有用性、信頼性を同時に確保することは依然として難しい課題です。従来の拒否指向のアライメント手法は有害なコンテンツの生成を抑える一方で、正当なユーザーニーズに応えられず、機密性の高いクエリの背後にある意図に安全かつ建設的に対処できる情報をしばしば提供しません。この問題に対処するため、Oyster-Iは建設的安全性パラダイムを導入し、一律の拒否から思慮深く応答指向の安全アライメントへと移行しました。しかし、Oyster-Iの教師付きファインチューニング（SFT）ベースの方式には2つの重大な限界がありました。1つは、分布外シナリオへの安全性汎化が不十分であること、もう1つは、安全性思考連鎖（CoT）の過剰汎化と呼ばれる現象、つまり安全指向の推論パターンが良性のクエリにも過度に適用され、有効性とユーザー体験を損なうことです。
これらの限界を克服するために、Oyster-IIが提案されました。Oyster-IIは強化学習（RL）に基づく建設的安全性アライメントフレームワークであり、Zero-RLパラダイムと多段階強化学習戦略を組み合わせています。Zero-RLパラダイムでは、事前定義された報酬モデルに依存せずにモデルが安全ポリシーをゼロから学習します。多段階戦略では、まず安全関連データで初期RLトレーニングを行い、その後複数回の反復強化学習を通じて、安全性と有用性のバランスを段階的に最適化します。これにより、モデルは安全推論が必要な場合と通常の有用な応答を返すべき場合をより適切に区別できるようになります。このアプローチは、静的なラベル付きデータから学習するOyster-IのSFT方式とは根本的に異なり、フィードバック信号を通じて動的にモデル動作を調整するため、安全性CoTの過剰汎化を効果的に抑制できると研究者らは指摘しています。
広範なベンチマークで評価した結果、Oyster-IIは安全次元においてQwen3-14Bとその前身であるOyster-Iを包括的に上回りました。さらに注目すべきは、Oyster-IIのクロススケール性能が、Qwen3-MaxやQwen3.5-397Bといったはるかに大規模なモデルと同等であることです。この結果は、強化学習に基づく建設的安全アライメントアプローチがLLMの安全性を効果的に向上させるだけでなく、その有効性を維持または強化できることを示しており、より信頼性の高いAIシステムの構築に向けた新たな道を開くものです。本研究はJiyang Guan氏を含む9名の著者によって行われ、2026年7月3日にarXivに投稿されました（識別子: 2607.02914）。今後の研究として、Zero-RLパラダイムを他のアライメント目標に拡張することや、より効率的な多段階訓練戦略の探索が考えられます。