arXiv 在2026年5月1日釋出了一篇題為《Token Arena：統一AI推理中能量與認知的持續基準測試》的論文，作者包括 Yuxuan Gao、Megan Wang 和 Yi Ling Yu。該論文針對當前AI推理基準測試的侷限性，提出了一個全新的持續基準測試框架——Token Arena。
現有公共推理基準測試通常在模型或提供商層面進行比較，但實際部署決策的單位是端點（endpoint），即（提供商、模型、庫存單位）的三元組，其中包含了具體的量化方式、解碼策略、區域和服務棧。Token Arena 正是以端點為粒度進行測量，沿五個核心維度（輸出速度、首令牌時間、工作負載混合價格、有效上下文和即時端點質量），並結合建模能源估計，綜合出三個頭條複合指標：每正確回答焦耳數（joules per correct answer）、每正確回答美元數（dollars per correct answer）和端點保真度（endpoint fidelity，即輸出分佈與第一方參考的相似度）。
該框架的新穎之處在於其經驗性和方法論。透過對服務於12個模型家族的78個端點進行測試，研究發現相同模型在不同端點上的平均準確率差異可達12.5個百分點（在數學和程式碼任務上），指紋相似度差異達12個百分點，尾延遲相差一個數量級，每正確回答焦耳數差異達6.2倍。此外，工作負載感知的混合定價會顯著改變排行榜：在聊天預設（輸入輸出比3:1）下排名前10的端點中，有7個在檢索增強預設（20:1）下跌出前10；而在推理預設（1:5）下，原本被聊天預設因價格而壓制的前沿封閉模型則得到提升。
Token Arena 不僅僅是一個單一的排名，而是一種方法論。研究團隊以 CC BY 4.0 許可釋出了該框架、模式、探測和評估工具，以及v1.0排行榜快照。他們公開了完整的溯源資訊和侷限性，並歡迎外部複製驗證。這項工作的意義在於，它為AI推理的部署決策提供了更精細、更全面的基準，有助於從業者在能源效率、成本和輸出質量之間做出更明智的權衡。