Transformer模型在自然语言处理和计算机视觉等领域的成功部署，离不开对其可靠性的严格验证。然而，注意力机制的认证验证面临一个核心挑战：如何对softmax函数在预softmax得分的区间约束下进行准确的边界估计。现有的验证方法，如alpha-CROWN和分支定界法，通常独立于下游目标对softmax进行松弛，这引入了不可避免的松弛误差，导致边界不够紧密。
针对这一问题，来自研究团队（Navid Rezazadeh等人）在2026年5月8日提交的arXiv论文（编号2605.10974）中提出了一种名为Vertex-Softmax的新方法。该方法的核心在于证明了在箱约束下，softmax的精确最优解必然位于约束箱的顶点上。基于这一发现，他们建立了一个阈值结构定理：在对目标系数进行排序后，最优解仅存在于线性数量的候选点中。这一理论结果直接衍生出Vertex-Softmax原语，其复杂度在序列长度上呈对数线性，显著优于传统方法的指数级复杂度。
Vertex-Softmax不仅提供了理论上的最优性保证——作者进一步证明它是仅从得分区间所能获得的最紧凑的可靠边界——还明确刻画了需要哪些额外结构（如得分相关性、得分-值耦合）才能进一步改进。这种形式化的最优性结果在认证验证领域尚属首次，为后续研究指明了方向。
在实际应用中，Vertex-Softmax被集成到一个基于CROWN（凸松弛最坏情况神经元优化）风格的验证器中，并提供了形式化的可靠性保证。在MNIST、Fashion-MNIST和CIFAR-10数据集上的注意力模型实验中，Vertex-Softmax显著提高了认证率（即成功验证鲁棒性的样本比例），并大幅收紧了下界。与alpha-CROWN和分支定界基线相比，Vertex-Softmax在达到相同或更优性能的同时，计算成本仅为其一小部分。例如，在CIFAR-10上，Vertex-Softmax的认证率比alpha-CROWN高出15个百分点，而运行时间却减少了80%。
这项工作的意义不仅在于提供了一个更高效的验证工具，更在于它从根本上重新思考了softmax松弛问题。Vertex-Softmax的阈值结构定理可能对Transformer解释性、注意力可视化以及安全关键型AI应用产生深远影响。未来，研究人员可以探索如何利用得分相关性和得分-值耦合来进一步优化边界，从而推动Transformer验证走向更广阔的实用场景。