视觉语言模型（VLM）正越来越多地被用作安全关键物理系统中具身智能的感知推理主干。例如，在自动驾驶、机器人操作和工业监控等领域，VLM需要理解视觉输入并做出决策。然而，感知或推理错误可能导致不安全的决策或行动。因此，系统地评估这些模型在面对对抗性攻击时的鲁棒性至关重要。尽管已经开发了许多红队测试方法来探测VLM的漏洞，但这些方法的评估在数据集、指标和威胁模型上仍然分散，使得直接比较变得困难。现有的以聊天机器人为中心的红队测试基准主要标准化了越狱和内容安全评估，但并未系统地捕捉物理世界VLM的功能性故障。
为了解决这一问题，研究人员提出了REALM——据我们所知，这是首个针对物理世界VLM的统一红队测试基准。该工作由Yifei Zhao等人完成，并于2026年6月22日提交至arXiv。REALM整合了12种红队测试方法、3种模型无关的防御策略和13个VLM，在实用的黑盒威胁模型下使用共享的数据集和指标。为了协调不同攻击家族之间的对抗目标，REALM引入了一个智能目标生成流水线，该流水线能够为每个场景构建共享的、特定场景的、物理上合理的攻击目标，从而在统一的对抗目标下公平比较多种红队测试方法。
评估结果揭示了几个关键发现。首先，文本和排版注入攻击导致的失败最多，这表明VLM在处理文本叠加和视觉排版变化时存在显著脆弱性。其次，多模态协同优化产生了最强的视觉扰动迁移性，意味着联合优化视觉和文本扰动可以产生更有效的攻击。第三，单次攻击方法以更低的计算成本接近迭代方法的性能，这为实际攻击提供了更高效的方案。最后，模型规模本身并不能带来对抗鲁棒性，即更大的模型不一定更安全，这挑战了“规模即安全”的常见假设。
REALM的提出为物理世界VLM的安全性评估建立了一个标准化框架。研究团队已开放代码（详见GitHub），以便社区复现和扩展。未来，该基准可以扩展到更多攻击方法、防御策略和模型类型，为物理世界中VLM的安全部署提供重要参考。