SwordBench 是一个新提出的基准,用于评估对视觉模型图像表征进行引导(steering)时的正交性表现,论文编号 arXiv:2605.16372,提交于 2026 年 5 月 10 日,作者为 Vladimir Zaigrajew 等四位研究者。该工作聚焦一个容易被忽视却十分关键的问题:在推理阶段对模型内部表征进行干预以纠正预测,对 AI 可解释性与安全性都具有重要意义,但现有的评测协议大多局限于语言建模任务,而且这些任务本身存在语义模糊的问题,难以给出清晰、可复现的结论。为填补这一空白,作者把评测对象转向视觉模型,构建了覆盖多种骨干网络(backbone)与多个概念移除(concept removal)任务的统一基准套件。
除了提供统一的评测平台,论文还提出了两项新的评估指标,用以揭示概念激活向量之间正交化所带来的二阶效应,从而更贴近实际引导场景中的需求。第一项是跨概念鲁棒性(cross-concept robustness),衡量的是当输入已经针对其他概念做过正交化处理后,目标概念检测性能是否仍然保持稳定;第二项是附带损伤(collateral damage),量化的是对于本身并不包含该偏置特征的输入,引导操作是否会无意中影响模型在下游任务上的表现。这两项指标的意义在于,它们把“引导是否有效”这一单一问题,扩展为“引导是否精准、是否会误伤”的复合问题。
实验结果给出了一些反直觉的发现。线性支持向量机(linear SVM)在可分性与正交性方面表现更优,按理说应当适合作为概念方向提取的工具,但它却无法实现零附带损伤,在很多情况下反而不如稀疏自编码器(sparse autoencoder)。这说明概念方向在几何上的良好分离,并不自动等价于实际干预时的安全性。此外,在较为简单的设定下,无论是标准基线方法还是基于优化的方法,都未能实现完美的引导效果,提示当前技术距离可靠、可控的推理期干预仍有明显差距。
从研究定位看,SwordBench 同时属于计算机视觉与模式识别(cs.CV)、人工智能(cs.AI)和机器学习(cs.LG)交叉方向,论文以 arXiv 预印本形式发布,提交时文件大小约 7,860 KB,并提供 PDF、实验性 HTML 以及 TeX 源码等访问方式。作者表示源代码将于近期在 GitHub 上公开,这将有助于后续研究者在统一协议下复现与比较不同引导方法。总体而言,该工作把引导评测从语言建模扩展到视觉表征,并通过跨概念鲁棒性与附带损伤两项指标,为“务实引导”提供了更严格的衡量标准,也揭示了正交性与实际干预效果之间并不简单的对应关系。