arXivは2026年5月1日、Yuxuan Gao、Megan Wang、Yi Ling Yuによる論文「Token Arena: AI推論におけるエネルギーと認知を統合する継続的ベンチマーク」を公開しました。本論文は、現在のAI推論ベンチマークの限界に対処するため、新しい継続的ベンチマークフレームワークであるToken Arenaを提案しています。
既存の公開推論ベンチマークは通常、モデルやプロバイダレベルでの比較を行っていますが、実際のデプロイメント判断の単位はエンドポイント（プロバイダ、モデル、SKUのタプル）であり、特定の量子化、復号戦略、リージョン、サービングスタックが露出されます。Token Arenaはエンドポイント粒度で測定を行い、5つのコア軸（出力速度、最初のトークンまでの時間、ワークロードブレンド価格、有効コンテキスト、ライブエンドポイント品質）に沿って評価し、モデル化されたエネルギー推定と統合して、3つの主要複合指標（正解あたりのジュール、正解あたりのドル、エンドポイント忠実度）を生成します。
このフレームワークの新規性は経験的かつ方法論的な点にあります。12のモデルファミリーにサービスを提供する78のエンドポイントを評価した結果、同一モデルでも異なるエンドポイント間で、数学およびコードタスクの平均精度に最大12.5ポイントの差、指紋類似度に最大12ポイントの差、テールレイテンシに一桁の差、正解あたりのモデル化ジュールに6.2倍の差が生じることが示されました。さらに、ワークロード認識型のブレンド価格設定はリーダーボードを大幅に変動させ、チャットプリセット（入出力比3:1）でトップ10に入ったエンドポイントのうち7つが、検索拡張プリセット（20:1）ではトップ10から脱落し、推論プリセット（1:5）では、チャットプリセットで価格的に不利だったフロンティアクローズドモデルが浮上します。
Token Arenaは単一のランキングではなく、方法論です。研究チームはCC BY 4.0ライセンスで、フレームワーク、スキーマ、プローブおよび評価ハーネス、v1.0リーダーボードスナップショットを公開し、完全な来歴と限界を公開し、外部による再現を歓迎しています。この研究は、AI推論のデプロイメント判断に対して、より詳細で包括的なベンチマークを提供し、実務者がエネルギー効率、コスト、出力品質の間でより賢明なトレードオフを行えるようにするものです。