Transformer模型在自然語言處理和計算機視覺等領域的成功部署，離不開對其可靠性的嚴格驗證。然而，注意力機制的認證驗證面臨一個核心挑戰：如何對softmax函式在預softmax得分的區間約束下進行準確的邊界估計。現有的驗證方法，如alpha-CROWN和分支定界法，通常獨立於下游目標對softmax進行鬆弛，這引入了不可避免的鬆弛誤差，導致邊界不夠緊密。
針對這一問題，來自研究團隊（Navid Rezazadeh等人）在2026年5月8日提交的arXiv論文（編號2605.10974）中提出了一種名為Vertex-Softmax的新方法。該方法的核心在於證明了在箱約束下，softmax的精確最優解必然位於約束箱的頂點上。基於這一發現，他們建立了一個閾值結構定理：在對目標係數進行排序後，最優解僅存在於線性數量的候選點中。這一理論結果直接衍生出Vertex-Softmax原語，其複雜度在序列長度上呈對數線性，顯著優於傳統方法的指數級複雜度。
Vertex-Softmax不僅提供了理論上的最優性保證——作者進一步證明它是僅從得分割槽間所能獲得的最緊湊的可靠邊界——還明確刻畫了需要哪些額外結構（如得分相關性、得分-值耦合）才能進一步改進。這種形式化的最優性結果在認證驗證領域尚屬首次，為後續研究指明瞭方向。
在實際應用中，Vertex-Softmax被整合到一個基於CROWN（凸鬆弛最壞情況神經元最佳化）風格的驗證器中，並提供了形式化的可靠性保證。在MNIST、Fashion-MNIST和CIFAR-10資料集上的注意力模型實驗中，Vertex-Softmax顯著提高了認證率（即成功驗證魯棒性的樣本比例），並大幅收緊了下界。與alpha-CROWN和分支定界基線相比，Vertex-Softmax在達到相同或更優效能的同時，計算成本僅為其一小部分。例如，在CIFAR-10上，Vertex-Softmax的認證率比alpha-CROWN高出15個百分點，而執行時間卻減少了80%。
這項工作的意義不僅在於提供了一個更高效的驗證工具，更在於它從根本上重新思考了softmax鬆弛問題。Vertex-Softmax的閾值結構定理可能對Transformer解釋性、注意力視覺化以及安全關鍵型AI應用產生深遠影響。未來，研究人員可以探索如何利用得分相關性和得分-值耦合來進一步最佳化邊界，從而推動Transformer驗證走向更廣闊的實用場景。