隨著大語言模型被越來越多地當作數學輔導工具使用，一個直接的問題隨之出現：單個模型能否發現學生的錯誤、判斷錯誤背後的概念誤解，並透過多輪對話加以糾正？與此同時還有一個更基礎的問題：用來衡量這種能力的數字本身是否可信？來自 Woojin Lee 等五位作者的論文《MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring》同時針對這兩個問題展開研究，該論文已被 AACL-IJCNLP 2026 主會接收，共 20 頁，包含 1 幅圖和 16 張表格，屬於計算與語言方向，於 2026 年 10 月 1 日提交至 arXiv。
為回答這些問題，作者構建了 MISCONCEPTDIALOGUE，一個完全自動化的評測框架。它讓五個引數量在 7B 至 14B 之間的開源權重模型擔任輔導者，與由 LLM 模擬的學生進行對話，累計超過 5000 輪。研究團隊明確指出，這一設計是高強度的模擬協議：對話採用配對條件，涵蓋多種情境，並設定了一個在真實學習者身上使用會存在倫理風險的“錯誤診斷”對照，以滿足規模化的需求。因此，實驗結果並不能證明真實學生在學習上獲得了提升，它檢驗的是模型在受控條件下的行為表現。
研究的第一個核心發現與測量方式有關，而作者認為這一結果對整個領域並不輕鬆。在標準數學自然語言處理中，基準測試常用精確匹配打分，這實際上是一種下界式的壓力測試。對完全相同的對話，這種評分方式顯示出的“糾正成功率”為 42.1%；而經過人工校準的 LLM 作為評判者，對同一批對話給出的結果達到 81.3%。兩者相差 39.2 個百分點，這一差距甚至大於輔導模型本身、教學策略以及所提供的診斷資訊這三項因素效應的總和。換言之，僅更換評估標準所造成的變化，就可能蓋過研究者通常關注的各類變數。
作者進一步驗證，這一差距並不是某位評判者帶來的偶然偏差。四個獨立的 LLM 評判者與 200 條人工標註的結果彼此相差僅幾個百分點，評判者之間的一致性最高達到 kappa 0.91，說明以人工判斷為參照的評分體系具有相當高的穩定性。這也意味著，精確匹配之所以偏低，是因為它無法識別多輪對話中真正發生的教學修復過程。
第二個核心發現涉及模型能力，結論同樣引人注目。研究對比了兩種條件：一種告知輔導模型學生的真實誤解，另一種故意替換為一個錯誤的診斷。結果顯示，兩種條件下模型的表現幾乎沒有差別。在論文測試的診斷呈現格式下，這些模型很少表現出可靠地依據所獲得的診斷資訊調整輔導行為的能力。也就是說，即使把正確答案的線索直接交給模型，它們也未必真正用上。
基於上述結果，作者提出了方法層面的建議：要讓 LLM 輔導能力的評測走向成熟，應當把多標準評分、多評判者收斂以及人工錨定作為標準做法。論文最後強調，評估方法這一問題與其所聲稱要回答的能力問題同樣值得審視——如果衡量標準本身就能讓成績在 42% 和 81% 之間擺動，那麼關於模型究竟有多擅長教學的結論就需要更加謹慎地解讀。