ERRORQUAKE: オープンウェイト大規模言語モデルにおけるエラー重大度の重尾分布
新しいベンチマークにより、オープンウェイト大規模言語モデル（LLM）は、同じ精度でもエラーの重大度分布が大きく異なることが明らかになりました。Errorquake-10kデータセットは、8つのドメインと5つの難易度レベルでエラーを0-4の重大度スケールでスコアリングし、重大度プロファイルがエラー率を超える情報を提供することを示しています。
人工知能分野において、大規模言語モデル（LLM）の精度評価は通常、全体的なエラー率に依存していますが、このスカラー指標はエラーの重大度の重要な違いを見逃す可能性があります。最近の研究ERRORQUAKEは、Errorquake-10kベンチマークを導入し、LLMの出力におけるエラー重大度分布を定量化することを目的としています。このベンチマークは、8つのドメインと5つの難易度レベルにわたる10,000のクエリを含み、各応答を0-4の連続スケールで評価します。研究チームは21のオープンウェイトモデルの重大度分布をフィッティングし、Gutenberg-Richter上尾勾配（b値）を分布指標として使用し、ブートストラップ法で95%信頼区間を計算しました。
結果は、一致精度（誤差0.05未満）において、210のモデルペアのうち85ペアでb値の信頼区間が重ならず、精度が類似していてもエラー重大度分布が大きく異なる可能性があることを示しました。例えば、deepseek-v3.2とministral-14bは精度0.586でb値の差が0.47でした。また、519項目の3評価者による人間検証研究で測定信頼性（ICC=0.85）が確認され、LLM判定のランキング（ρ=0.89）が検証され、密なモデルのスケーリング相関（ρ_s=-0.86）が確認されました。
さらに重要なことに、研究者は非還元定理を証明し、重大度分布とエラー率が情報的に冗長ではないことを示しました。条件付き相互情報量の分析では、エラー率が与えられた場合、モデルIDとb値の間の相互情報量は1.56ビットであり、モデル間のb値の分散の64.5%がエラー率で説明できないことがわかりました。また、重大度メカニズムの分類（κ=0.83）は、エラータイプが重大度に応じて変わることを明らかにしました。低重大度エラーの71%は検索エラーであるのに対し、高重大度エラーの39%は捏造であり、この構成はモデルサイズによって異なります（p<0.0001）。
この研究の意義は、精度のみを報告するだけではモデル評価として不十分であり、重大度分布がエラー率では捉えられない識別情報を提供することを示した点にあります。今後、モデル評価では精度とともに重大度分布を報告することが推奨され、モデル選択、推論コスト最適化、製品展開において重要な指針となります。