随着大语言模型（LLM）在国防领域的探索应用，确保其决策支持符合法律和伦理标准变得至关重要。然而，现有的安全基准主要关注一般社会风险，未能测试模型是否遵守实际军事行动中的法律与道德规范。为弥补这一空白，研究人员推出了 ARMOR 2025——一个面向军事场景的LLM安全评估基准。
ARMOR 2025 的核心创新在于其严格基于三项权威军事准则：战争法、交战规则以及联合伦理条例。研究者从这些准则中提取文本，并生成选择题，以保留每条规则的原意。基准的组织结构借鉴了观察-定向-决策-行动（OODA）决策框架，从而能够系统性地测试模型在与军事相关的决策类型中的准确性和拒绝能力。该基准包含一个结构化的12类别分类法，共计519个以准则为基础的提示，并对21个商业LLM进行了严格评估。评估结果揭示了当前模型在军事应用中的安全对齐存在关键缺口：模型在多类场景下未能正确遵循军事伦理和法律要求，或错误地提供建议，或在应该回应时不当拒绝。这一发现表明，通用安全对齐方法不足以应对军事领域的特殊需求。
ARMOR 2025 为LLM在国防领域的安全部署提供了重要参考。它不仅为模型开发者提供了具体的改进方向，也为政策制定者和军事用户提供了评估工具。随着LLM在指挥决策、情报分析等领域的应用日益增多，此类专门化的安全基准将成为确保技术合规与伦理可靠的必要手段。