大規模言語モデル（LLM）は、信頼性が高く法的に準拠した意思決定支援を必要とする防衛アプリケーションでの活用が検討されている。しかし、既存の安全性ベンチマークは一般的な社会的リスクに焦点を当てており、実際の軍事作戦を規定する法的・倫理的なルールに従うかどうかをテストしていない。このギャップを埋めるため、研究者らはARMOR 2025を導入した。ARMOR 2025は、戦争法、交戦規則、統合倫理規制という3つの主要な軍事ドクトリンに基づく軍事向け安全性ベンチマークである。
研究者らはこれらのドクトリンからテキストを抽出し、各ルールの意図を保持した多肢選択問題を生成した。ベンチマークは、観察・方向付け・決定・行動（OODA）意思決定フレームワークに基づく分類法で整理されている。この構造により、軍事関連の意思決定タイプにおける正確性と拒否の両方を系統的にテストできる。ベンチマークは12カテゴリの分類法、519のドクトリンに基づくプロンプトで構成され、21の商用LLMに対して厳格な評価手順が適用された。
評価結果は、軍事アプリケーションにおける安全性アラインメントの重大なギャップを明らかにした。多くのモデルが戦争法や倫理規制に反するアドバイスを提供したり、適切に拒否すべき状況で応答したりするなど、軍事コンテキストでの信頼性に問題があることが判明した。この研究は、LLMを国防分野で安全に展開するためには、一般的な安全性対策だけでは不十分であり、軍事ドクトリンに特化した評価と調整が不可欠であることを示している。ARMOR 2025は、今後のモデル改善や調達判断のための重要なツールとなるだろう。