一篇題為《Position: Evaluation Scores Are Perishable Knowledge Claims》的立場論文於2026年7月28日提交至arXiv,編號為2607.26191。該論文由Sankalp Gilda與另一位作者合著,全文7頁,含1張圖、1個表格,已收錄於ACL 2026第五屆生成、評估與度量研討會(GEM)論文集,頁碼為1029–1035,會議在美國聖迭戈舉行。
論文指出,現代語言模型評估正越來越多地把多種訊號組合在一起使用:自動指標、LLM作為評審的打分、人類評估以及基準套件結果等。研究者通常會對這些訊號取平均值,形成最終評價。然而,這種做法可能造成一種系統性的認知偏差:當不同訊號的可靠性差異較大時,平均後的總體置信度會大大超過最不可靠訊號本身所能支撐的程度。作者將這一現象命名為“評估中的信任膨脹”(trust inflation)。
針對這一問題,論文主張將評估分數視作一種“知識主張”,而不是固定不變的事實。作者提出,任何評估分數都應附帶三方面屬性:形式性(formality),即人類評估提供的證據強度應高於自動指標;範圍(scope),即基準測試結果只適用於被測試的資料分佈,不能無條件推廣到所有場景;有效期(validity windows),即隨著測試集汙染不斷累積、資料分佈持續漂移,基準結果的效力會逐漸衰減直至過期。這些屬性共同決定了評估結論的可信邊界。
在聚合方法方面,論文援引了多個相互印證的研究傳統——思維鏈分析、可能性邏輯和代數理論。這些研究均指向同一個結論:最弱環節聚合是一個由單一悲觀引數控制的引數化運算元族中的保守端點。也就是說,當評估系統中存在明顯較弱的訊號時,採用最弱環節作為聚合基準能夠避免因平均化而掩蓋風險。作者結合為智慧體式AI構建評估框架的實踐經驗,建議所有評估結果顯式攜帶“形式等級”“範圍宣告”和“過期日期”三類後設資料,使評估結論的認知地位透明可查。
為了說明均值聚合的實際代價,作者在公開的HELM排行榜上進行了驗證:在十個評估場景中考察了54個前沿模型。結果顯示,按平均分排名前五的模型與按最弱環節分數排名前五的模型完全不相交。這一實驗有力地表明,聚合方式的選擇可能對模型排名產生根本性影響。論文還提供了DOI、頁數和會議參考資訊,供後續研究者檢索引用。