大規模言語モデル（LLM）が数学のチューターとして使われる機会が増えるにつれ、二つの問いが浮上している。一つは、単一のLLMが生徒の誤りを見つけ、その背景にある概念的な誤解を診断し、複数ターンの対話を通じて修正できるのかという能力の問いである。もう一つは、その成績を報告する数値そのものを信頼できるのかという測定の問いである。Woojin Lee氏ら5名による論文「MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring」は、この両方に同時に取り組む。同論文はAACL-IJCNLP 2026本会議に採択されており、20ページ、図1点、表16点からなり、計算と言語（cs.CL）分野に属する。2026年10月1日にarXivへ投稿された。
研究チームはまずMISCONCEPTDIALOGUEと呼ぶ完全自動の評価フレームワークを構築した。7Bから14Bのオープンウェイトモデル5種をチューター役とし、LLMで模擬した生徒との間で5,000件を超える対話を実施する。この設計は意図的にシミュレーションを用いたプロトコルであり、対になる条件の比較、実際の学習者に適用すると倫理的に危険な「誤った診断」の対照条件、そして規模の確保を可能にしている。ただし著者らは、この結果が実在の生徒の学習を実証するものではないと明確に留保している。検証しているのは統制された条件下でのモデルの振る舞いである。
第一の主要な知見は測定方法に関するもので、著者らはこれを分野にとって居心地の悪い結果だと述べる。数学NLPで一般的なベンチマーク形式の厳密一致採点は、下限を見るストレステストとして機能する。全く同一の対話に対して、この方法は修正成功率42.1%と報告した。ところが人手で校正したLLM-as-judgeは同じ対話を81.3%と評価する。差は39.2ポイントに及び、チューターモデル、指導戦略、提供された診断情報という三つの要因の効果を合計したものよりも大きい。評価基準を変えるだけで、研究者が通常注目する変数の影響を上回る変動が生じることを意味する。
この差は単一の判定者による偶発的なものではないことも確認された。4つの独立したLLM判定者と200件の人手注釈は数ポイント以内で一致し、判定者間の一致度はkappaで最大0.91に達した。人手の判断を基準とする評価が安定していることを示す一方、厳密一致は複数ターンの対話で実際に起きている指導上の修正を捉えられないために低く出ると考えられる。
第二の知見はモデルの能力に関するもので、こちらも印象的である。研究では、生徒の実際の誤解を伝える条件と、意図的に別の誤った診断に差し替える条件を比較した。結果として、両条件でスコアはほとんど変わらなかった。論文が試した診断情報の提示形式の下では、これらのモデルが与えられた診断情報に安定的に依拠して指導行動を変える証拠は乏しい。正解につながる手がかりを直接渡しても、モデルがそれを実際に活用しているとは限らないことを示している。
以上の結果を踏まえ、著者らは方法論上の提言を行っている。LLMチューターの能力評価を成熟させるには、多基準の採点、複数判定者の収束、そして人手によるアンカリングを標準的な実践とすべきだという。論文は最後に、測定という問いは、それが答えようと主張する能力の問いと同程度に精査される価値があると強調している。42%と81%の間で結果が揺らぐのであれば、モデルがどれほど教えるのが得意かという結論は、より慎重に解釈される必要がある。