arXiv 在2026年5月1日发布了一篇题为《Token Arena：统一AI推理中能量与认知的持续基准测试》的论文，作者包括 Yuxuan Gao、Megan Wang 和 Yi Ling Yu。该论文针对当前AI推理基准测试的局限性，提出了一个全新的持续基准测试框架——Token Arena。
现有公共推理基准测试通常在模型或提供商层面进行比较，但实际部署决策的单位是端点（endpoint），即（提供商、模型、库存单位）的三元组，其中包含了具体的量化方式、解码策略、区域和服务栈。Token Arena 正是以端点为粒度进行测量，沿五个核心维度（输出速度、首令牌时间、工作负载混合价格、有效上下文和实时端点质量），并结合建模能源估计，综合出三个头条复合指标：每正确回答焦耳数（joules per correct answer）、每正确回答美元数（dollars per correct answer）和端点保真度（endpoint fidelity，即输出分布与第一方参考的相似度）。
该框架的新颖之处在于其经验性和方法论。通过对服务于12个模型家族的78个端点进行测试，研究发现相同模型在不同端点上的平均准确率差异可达12.5个百分点（在数学和代码任务上），指纹相似度差异达12个百分点，尾延迟相差一个数量级，每正确回答焦耳数差异达6.2倍。此外，工作负载感知的混合定价会显著改变排行榜：在聊天预设（输入输出比3:1）下排名前10的端点中，有7个在检索增强预设（20:1）下跌出前10；而在推理预设（1:5）下，原本被聊天预设因价格而压制的前沿封闭模型则得到提升。
Token Arena 不仅仅是一个单一的排名，而是一种方法论。研究团队以 CC BY 4.0 许可发布了该框架、模式、探测和评估工具，以及v1.0排行榜快照。他们公开了完整的溯源信息和局限性，并欢迎外部复制验证。这项工作的意义在于，它为AI推理的部署决策提供了更精细、更全面的基准，有助于从业者在能源效率、成本和输出质量之间做出更明智的权衡。