本文にスキップ
AI News HubLIVE
その他
要約のみ

Arena AIモデルELO履歴

このグラフは、AIモデルの更新後に発生する可能性のある性能低下(「ナーフ」)を明らかにし、LMSYS Arenaのクラウドソースによる人間評価データを使用して、主要なAI研究所のフラッグシップモデルの経時的なELOスコアを追跡します。

ソースHacker News AI著者: mayerwin
Arena AIモデルELO履歴
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • AI研究所はモデル公開後に頻繁に更新し、検閲や量子化などのナーフを導入することがある。
  • データはHugging FaceのLM Arenaリーダーボードから毎日自動取得される。
  • グラフは各研究所のフラッグシップ系譜を追跡し、中間モデルは無視し、推論モードのバリアントは統合する。
  • 新リリースと劣化傾向が明確に表示される。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。