Arena AIモデルELO履歴

AIモデルの性能は一度決まれば不変ではない。多くの研究所はモデル公開後も更新を続け、時に予期せぬ「ナーフ」を引き起こすことがある。例えば、厳格な検閲、過度な量子化による計算コスト削減、または動作の劣化などである。こうした隠れた傾向を明らかにするために、LMSYS Arenaのデータに基づくELO履歴グラフが作成された。

LMSYS Arenaは、数千のブラインドテストとクラウドソースによる人間評価を活用し、モデルの実際の能力を測定する最も堅牢な指標とされている。このグラフは、Hugging Face上の公式LM Arenaリーダーボードデータセットから毎日自動的にデータを取得し、リアルタイム性を確保している。

グラフの設計ロジックは巧妙である。各主要AI研究所には、そのフラッグシップモデル系列を表す1本の曲線のみが存在する。各時点で、曲線はその研究所のリーダーボード上で最高評価のフラッグシップモデルを追跡し、単に最新発表されたモデルではない。例えば、中級モデル（Sonnetなど）がリリースされても、上級モデル（Opusなど）が依然としてトップパフォーマーである場合、曲線はOpusに留まる。また、「-thinking」「-reasoning」「-high」などの推論モードバリアントは同一の基本モデルの異なるモードとして扱われ、統合されるため、曲線がこれらの間で変動することはない。

新リリースはラベル付きのマーカーポイントで表示され、しばしばスコアの上昇を伴う。一方、リリース間のモデルライフサイクルにおける下降傾向、すなわち劣化も明確に可視化される。ただし、このグラフはAPIエンドポイントの生のモデル性能を反映しており、gemini.comやchatgpt.comのような消費者向けチャットインターフェースでは、システムプロンプトや安全フィルター、UI固有のラッパーが追加される場合がある。また、プロバイダーはピーク負荷時に計算コストを節約するために量子化バージョンに静かに切り替えることがあり、APIベンチマークでは完全に捉えられない「ナーフ」感覚を生じる可能性がある。

このELO履歴グラフは、AIコミュニティに透明で動的な視点を提供し、フラッグシップモデルの実際の性能変化を追跡し、潜在的な劣化問題を特定するのに役立つ。これにより、より賢明なモデル選択が可能となる。

グラフは毎日Hugging Faceから自動的にデータを取得するため、情報の新鮮さが保証される。LMSYS Arenaのクラウドソース評価メカニズムは数千回のブラインドテストに基づき、人間の評価者がモデルの出力を採点してELOスコアを算出する。この評価方法は自動ベンチマークにありがちなバイアスを回避し、実際の使用シナリオにより近い結果を提供する。

各AI研究所について、グラフはフラッグシップモデル系列のみを追跡する。フラッグシップモデルとは、リーダーボード上でその研究所のELOスコアが最も高い代表的なモデルを指す。例えば、OpenAIがGPT-4とGPT-4 Turboの両方を保有する場合、グラフはスコアの高い方を表示する。研究所が中級モデル（AnthropicのSonnetなど）をリリースしても、フラッグシップモデル（Opusなど）が依然として優れたパフォーマンスを示す場合、曲線は切り替わらない。この設計により、曲線の安定性と可読性が確保される。

推論モードバリアント（-thinking、-reasoningなど）は同一モデルの異なるモードと見なされ、統合される。これにより、曲線がモード切り替えで頻繁に変動するのを防ぐ。新モデルのリリースはマーカーポイントでラベルとともに表示され、多くの場合スコアの上昇を伴う。一方、劣化の兆候（スコアの持続的低下）も曲線上で明確に確認でき、性能低下が疑われるモデルを特定するのに役立つ。

なお、このグラフはAPIエンドポイントの生のモデル性能を反映している。消費者向けチャットインターフェース（gemini.comやchatgpt.comなど）では、システムプロンプト、安全フィルター、UI固有のラッパーが追加される可能性がある。また、プロバイダーはピーク負荷時に量子化バージョンに静かに切り替えることで計算コストを節約することがあり、その結果ユーザーは「ナーフ」を感じるかもしれないが、APIベンチマークでは完全には捉えられない。したがって、このグラフはモデルの基礎性能データを提供するが、実際のユーザー体験はデプロイの違いにより異なる可能性があることを認識しておく必要がある。

総じて、このELO履歴グラフはAIコミュニティにとって貴重なツールであり、フラッグシップモデルの性能変化を追跡し、潜在的な劣化を特定し、モデル選択におけるより賢明な意思決定を支援する。