隨著大語言模型（LLM）在國防領域的探索應用，確保其決策支援符合法律和倫理標準變得至關重要。然而，現有的安全基準主要關注一般社會風險，未能測試模型是否遵守實際軍事行動中的法律與道德規範。為彌補這一空白，研究人員推出了 ARMOR 2025——一個面向軍事場景的LLM安全評估基準。
ARMOR 2025 的核心創新在於其嚴格基於三項權威軍事準則：戰爭法、交戰規則以及聯合倫理條例。研究者從這些準則中提取文本，並生成選擇題，以保留每條規則的原意。基準的組織結構借鑑了觀察-定向-決策-行動（OODA）決策框架，從而能夠系統性地測試模型在與軍事相關的決策型別中的準確性和拒絕能力。該基準包含一個結構化的12類別分類法，共計519個以準則為基礎的提示，並對21個商業LLM進行了嚴格評估。評估結果揭示了當前模型在軍事應用中的安全對齊存在關鍵缺口：模型在多類場景下未能正確遵循軍事倫理和法律要求，或錯誤地提供建議，或在應該回應時不當拒絕。這一發現表明，通用安全對齊方法不足以應對軍事領域的特殊需求。
ARMOR 2025 為LLM在國防領域的安全部署提供了重要參考。它不僅為模型開發者提供了具體的改進方向，也為政策制定者和軍事使用者提供了評估工具。隨著LLM在指揮決策、情報分析等領域的應用日益增多，此類專門化的安全基準將成為確保技術合規與倫理可靠的必要手段。