近期发表于arXiv的一篇论文《ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models》指出，在准确率相同的情况下，开放权重大语言模型（LLM）在错误严重程度的分布形态上存在显著差异，而这种差异无法通过单一的误差率指标体现。传统幻觉基准通常只报告一个错误计数，并将所有错误视为同等严重，但一个错误的日期与一个捏造的法庭裁决在严重性上可能相差数个数量级，这种被忽略的差异恰恰可能隐藏着模型可靠性的关键信息。
为了解决这一问题，作者Jason Z Wang引入了Errorquake-10k基准，包含10,000个查询，覆盖8个领域和5个难度层级，对每个回复在0到4的连续严重程度量表上进行评分。基于这一数据集，研究者为21个开放权重模型拟合了各自的严重程度分布，并为每个模型估计了严重程度分布指数b（即Gutenberg-Richter上尾斜率），同时给出了95%的bootstrap置信区间，用统计手段刻画每个模型错误严重性的尾部特征。
研究的核心发现是：在210个模型对中，有85对在人类共识评分且准确率匹配（|Δε| < 0.05）的条件下，其b值的95%置信区间互不重叠。例如，deepseek-v3.2与ministral-14b在ε=0.586时，Δb达到0.47。这表明即使准确率相近，不同模型的错误严重程度分布也存在本质区别，准确率这一单一标量无法区分二者在错误性质上的深层差异。
为了验证测量的可靠性，作者进行了包含519个条目的三人评分者人工验证研究。结果确认了测量信度（ICC(2,k=3)=0.85），验证了LLM-judge排名与人类判断的一致性（ρ=0.89），并在人类数据上证实了密集模型规模与严重程度分布之间的相关性（ρ_s=-0.86），从而为基于自动化评分的结论提供了人类基准的支撑。
此外，论文证明了一个“非可约性定理”：严重程度剖面与误差率在信息上并非冗余。具体而言，在给定准确率后，b值仍携带关于模型的信息（I(b; model | ε)=1.56比特），且64.5%的跨模型b方差无法由误差率解释。这意味着仅报告误差率会丢失大量关于模型错误性质的关键信息，严重程度分布提供了误差率无法替代的判别能力。
研究还建立了一个严重程度机制分类体系（κ=0.83），揭示错误类型随严重程度发生类别性转变：低严重程度错误主要是检索错误（占71%），而高严重程度错误主要是捏造（占39%），并且这种组成随模型规模而变化（p < 0.0001）。这一发现说明模型在出错时“错得有多离谱”与“错在哪里”密切相关，且受模型规模影响。因此，作者主张严重程度分布应当与准确率一起报告，因为它携带了误差率无法提供的判别性信息，有助于更全面地评估模型在实际部署中的风险。