CSTutorBench：ブロックベースプログラミングのチューターとしての小型言語モデルのベンチマーク

大規模言語モデルはAIチューターとしてますます研究されていますが、K-12教育で展開するには、プライバシー、コスト、およびプロプライエタリモデルへの依存に関する懸念があります。小型言語モデル（SLM）は有望な代替手段を提供しますが、特定の教育コンテキストに適したモデルを選択することは依然として困難です。特に、ブロックベースプログラミングのような対象ドメインがモデルのトレーニングデータにほとんど含まれていない場合が問題です。そこで、研究者らはCSTutorBenchを導入しました。これは、VEX VR（ブロックベースのロボティクス環境）において、言語モデルをCSチューターとして評価するためのベンチマークです。このベンチマークは、確立されたチューリングとフィードバック研究に基づく教育学的ルーブリックに従ってスコアリングされる17のシナリオベースの質問で構成され、評価には人間が介在するLLM-as-judgeパイプラインを使用します。11のモデル（パラメータ数4B〜120B）にわたる予備的知見では、モデルは語彙や口調といった表面的な基準では良好に機能するものの、特に回答漏洩の回避や生徒のデバッグ履歴への関与といった深層的な教育行動では困難を伴うことが明らかになりました。このサンプルでは、モデルファミリーと指示チューニングのアプローチがパラメータ数単独よりもチューター品質の予測因子として優れているように見えますが、モデル数が少ないためこの結論の強度は限られています。最近の教育プロンプトエンジニアリング研究に基づく対象を絞ったプロンプトの修正により、11モデル中10モデルのスコアが向上しました。これらの結果は、教育展開におけるSLM選択において、コンテキスト固有で教育学的に根拠のあるベンチマークの価値を強調しています。さらに、このベンチマークは、AIチューターの能力をより細かく評価し、教育技術分野に実用的なツールを提供します。今後、研究者はより多くのシナリオとモデルをカバーするためにベンチマークを拡張する予定です。