视觉Transformer(ViT)正越来越多地进入自动驾驶、医学影像等安全关键领域,这使得一个过去常被忽视的问题变得紧迫:当硬件层面出现软错误(soft error)时,这些模型还能否保持可靠?arXiv 上最新提交的论文《SENTRY: Statistical Reliability Analysis of Vision Transformers Under Soft Errors》正是围绕这一问题展开,作者为 Pramit Kumar Bhaduri 等六人,论文于 2026 年 5 月 30 日提交,归属于计算机视觉与模式识别(cs.CV)类别,同时涉及人工智能、分布式与并行计算以及机器学习等方向。
研究团队首先指出了一个方法论上的核心矛盾。ViT 虽然能提供当前最优的精度表现,但其参数量极其庞大,这意味着若要对所有可能的位翻转逐一进行故障注入(fault injection)测试,计算成本将高到无法承受。为弥合这一缺口,作者提出了一个统计故障注入框架,其理论基础来自有限总体抽样(finite-population sampling)理论。该框架的关键优势在于能够给出形式化的可靠性保证,而非仅仅依赖经验性的抽样估计。
论文给出的量化结论相当引人注目。作者证明,无论模型规模多大,仅需数千个样本即可将失败率的估计误差限定在 1% 的范围内,且置信度达到 99%。与穷举式方法相比,这一方法将实验成本降低了最多 10,700 倍,同时仍保留了对架构各组成部分进行脆弱性定位的能力。换言之,研究者不必再为每一个参数位都做一次注入实验,而是可以用统计上严谨的方式,以极小的样本量获得可信的结论。
在实证部分,作者对 ViT-Tiny 和 ViT-Small 等不同架构进行了广泛评估,并揭示出一个高度非均匀的可靠性图景。数据显示,在 FP32 浮点数的位翻转中,只有约 3% 会实际导致模型失败;然而,一旦这些事件发生,绝大多数都会引发灾难性的精度崩溃。这一“低频但高破坏”的特征意味着,简单地用平均失败率来衡量风险会严重低估实际危害。
更进一步的定位分析将脆弱点集中在两类位置:一是归一化层(normalization layers),二是 IEEE-754 浮点格式中的关键指数字段(exponent bits)。这一发现不仅具有工程价值,也为理解 Transformer 类模型在硬件层面的失效机制提供了数学基础。作者表示,这些结论可为设计面向边缘部署的加固型 ViT 架构提供可操作的指导。
从更广的视角看,这项工作回应了 AI 系统走向安全关键应用时的一个现实需求:模型不仅要准,还要在底层硬件出错时表现得可预测、可量化。SENTRY 所提供的统计框架,或许会成为后续可靠性评估的一种标准工具,帮助研究者在可接受的实验成本内,对大规模视觉模型的软错误鲁棒性做出有依据的判断。