自动化评分模型正越来越多地被用于对复杂语言表现（包括课堂转录文本）进行基于评分细则的质量评级，但这类模型通常很少说明某个分数为何产生。针对这一问题，一篇被 ACL 2026 Findings 接收的论文提出了一个面向基于评分细则的评分任务的通用框架，在句子层面实现可解释性分析：它把与模型无关的 Shapley 值归因方法与大型语言模型（LLM）生成的解释理由结合起来，从而既能比较模型的打分表现，也能检验其解释的忠实程度。
该研究将框架具体应用于 CLASS 框架中的“反馈质量”（Quality of Feedback）维度，使用的数据来自 NCTE 语料库。研究者系统比较了两类模型：一类是经过微调的预训练语言模型（PLM），另一类是仅通过提示词调用的 LLM。比较在两个层面展开：一是评分的预测准确率，二是解释是否真实反映了模型做出判断的依据。实验覆盖了约 6,000 个带标注的转录片段。
结果显示，微调后的 PLM 在预测准确率上优于 LLM，但同时也出现了“标签压缩”现象，即分数向中间档位集中，模型倾向于给出较为中庸的评级。这一发现提示，更高的准确率背后可能隐藏着评分分布上的系统性偏差，值得在真实教育评估场景中警惕。
在解释的忠实度方面，研究采用基于删除（deletion-based）的检验方法，即移除被认为重要的句子，观察模型预测是否随之发生显著变化。结果表明，SHAP 能够识别出真正驱动模型预测的句子，其带来的预测变化通常更大、也更连贯；相比之下，LLM 生成的解释理由对模型预测的影响较弱。
跨模型分析进一步显示，SHAP 归因在不同模型架构之间具有稳健的可迁移性，而 LLM 生成的解释理由影响有限且不一致。论文作者因此认为，对于基于评分细则的评分任务而言，SHAP 提供的解释更为忠实、也更可迁移。
研究还强调，所提出的框架为在高风险教育场景以及其他基于评分细则的语言评估任务中，同时评估评分模型及其解释提供了有原则的基础。该论文由 Ivo Bueno 等共 8 位作者完成，于 2026 年 4 月 18 日提交至 arXiv，编号为 arXiv:2606.05180，属于计算与语言（cs.CL）以及人工智能（cs.AI）方向的预印本。