随着大语言模型被越来越多地当作数学辅导工具使用，一个直接的问题随之出现：单个模型能否发现学生的错误、判断错误背后的概念误解，并通过多轮对话加以纠正？与此同时还有一个更基础的问题：用来衡量这种能力的数字本身是否可信？来自 Woojin Lee 等五位作者的论文《MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring》同时针对这两个问题展开研究，该论文已被 AACL-IJCNLP 2026 主会接收，共 20 页，包含 1 幅图和 16 张表格，属于计算与语言方向，于 2026 年 10 月 1 日提交至 arXiv。
为回答这些问题，作者构建了 MISCONCEPTDIALOGUE，一个完全自动化的评测框架。它让五个参数量在 7B 至 14B 之间的开源权重模型担任辅导者，与由 LLM 模拟的学生进行对话，累计超过 5000 轮。研究团队明确指出，这一设计是高强度的模拟协议：对话采用配对条件，涵盖多种情境，并设置了一个在真实学习者身上使用会存在伦理风险的“错误诊断”对照，以满足规模化的需求。因此，实验结果并不能证明真实学生在学习上获得了提升，它检验的是模型在受控条件下的行为表现。
研究的第一个核心发现与测量方式有关，而作者认为这一结果对整个领域并不轻松。在标准数学自然语言处理中，基准测试常用精确匹配打分，这实际上是一种下界式的压力测试。对完全相同的对话，这种评分方式显示出的“纠正成功率”为 42.1%；而经过人工校准的 LLM 作为评判者，对同一批对话给出的结果达到 81.3%。两者相差 39.2 个百分点，这一差距甚至大于辅导模型本身、教学策略以及所提供的诊断信息这三项因素效应的总和。换言之，仅更换评估标准所造成的变化，就可能盖过研究者通常关注的各类变量。
作者进一步验证，这一差距并不是某位评判者带来的偶然偏差。四个独立的 LLM 评判者与 200 条人工标注的结果彼此相差仅几个百分点，评判者之间的一致性最高达到 kappa 0.91，说明以人工判断为参照的评分体系具有相当高的稳定性。这也意味着，精确匹配之所以偏低，是因为它无法识别多轮对话中真正发生的教学修复过程。
第二个核心发现涉及模型能力，结论同样引人注目。研究对比了两种条件：一种告知辅导模型学生的真实误解，另一种故意替换为一个错误的诊断。结果显示，两种条件下模型的表现几乎没有差别。在论文测试的诊断呈现格式下，这些模型很少表现出可靠地依据所获得的诊断信息调整辅导行为的能力。也就是说，即使把正确答案的线索直接交给模型，它们也未必真正用上。
基于上述结果，作者提出了方法层面的建议：要让 LLM 辅导能力的评测走向成熟，应当把多标准评分、多评判者收敛以及人工锚定作为标准做法。论文最后强调，评估方法这一问题与其所声称要回答的能力问题同样值得审视——如果衡量标准本身就能让成绩在 42% 和 81% 之间摆动，那么关于模型究竟有多擅长教学的结论就需要更加谨慎地解读。