arXivに最近公開された論文「ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models」は、同じ精度でありながら、オープンウェイト大規模言語モデル（LLM）の誤り重大度分布の形状が大きく異なることを指摘している。この違いは、単一の誤り率指標では見えない。従来のハルシネーションベンチマークは単一の誤り数を報告し、すべての誤りを同等に扱うが、誤った日付と捏造された判決文では重大度が桁違いに異なり、この見過ごされた差異にこそモデル信頼性の重要な情報が潜んでいる可能性がある。
この問題に対処するため、著者のJason Z WangはErrorquake-10kベンチマークを導入した。これは10,000のクエリからなり、8領域と5難易度層にわたり、各応答を0から4の連続重大度スケールで評価する。このデータセットに基づき、研究者は21のオープンウェイトモデルについてモデルごとの重大度分布をフィットさせ、各モデルの重大度分布指数b（Gutenberg-Richter上裾勾配）を95%ブートストラップ信頼区間とともに推定した。これにより各モデルの誤りの重大性の裾特性を統計的に捉えている。
主要な発見は、210のモデルペアのうち85ペアが、人間の合意スコアで精度が一致する条件（|Δε| < 0.05）の下で、bの95%信頼区間が重ならないことである。例えば、deepseek-v3.2とministral-14bはε=0.586でΔb=0.47である。これは、精度が近くても誤り重大度分布に本質的な違いがあり、単一の精度というスカラー値では誤りの性質の深い差異を区別できないことを示す。
測定の信頼性を検証するため、著者は519項目からなる3評価者による人手検証研究を実施した。結果は測定信頼性（ICC(2,k=3)=0.85）を確認し、LLM-judgeランキングと人間判断の一致（ρ=0.89）を検証し、人間データ上で密なモデルの規模と重大度分布の相関（ρ_s=-0.86）を確認した。これにより自動評価に基づく結論が人間基準によって裏付けられている。
さらに、論文は「非還元定理」を証明している。これは重大度プロファイルと誤り率が情報的に冗長でないことを示す。具体的には、精度が与えられた下でもb値はモデルに関する情報を運び（I(b; model | ε)=1.56ビット）、モデル間のb分散の64.5%は誤り率では説明できない。つまり、誤り率だけを報告すると、モデルの誤りの性質に関する重要な情報が失われ、重大度分布は誤り率に代えがたい判別能力を提供する。
研究はまた、重大度メカニズムの分類体系（κ=0.83）を構築し、誤りタイプが重大度に応じてカテゴリ的に変化することを明らかにした。低重大度の誤りは主に検索エラー（71%）であり、高重大度の誤りは主に捏造（39%）であり、この構成はモデル規模によって変化する（p < 0.0001）。この発見は、モデルが誤る際に「どれだけひどく誤るか」と「どこで誤るか」が密接に関連し、モデル規模の影響を受けることを示す。したがって著者は、重大度分布を精度とともに報告すべきだと主張する。それは実運用におけるリスクをより包括的に評価するための、誤り率では得られない判別情報を提供するからである。