CSTutorBench：评估小型语言模型作为积木式编程辅导员的基准
CSTutorBench是一个新的基准，用于评估小型语言模型在VEX VR（一种积木式机器人编程环境）中作为计算机科学辅导员的表现。初步测试显示，模型在表面标准（如词汇和语气）上表现良好，但在深层教学行为（如避免泄露答案和关注学生调试历史）上存在困难。提示工程改进提高了大部分模型的分数。
大型语言模型作为AI辅导员正受到越来越多的关注，但在K-12教育中部署它们会引发隐私、成本和依赖专有模型等问题。小型语言模型（SLM）提供了一种有前景的替代方案，但为特定教育环境选择合适的模型仍然困难，尤其是在目标领域（如积木式编程）几乎不在模型训练数据中的情况下。为此，研究人员推出了CSTutorBench，这是一个用于评估语言模型在VEX VR（一种积木式机器人环境）中担任计算机科学辅导员表现的基准。该基准由17个基于场景的问题组成，这些问题根据一个基于教学法和反馈研究的教学评分表进行评分，并采用人在环路中的大语言模型作为评判的评估流程。初步实验涵盖了11个参数规模在4B到120B之间的模型，结果显示出模型在词汇和语气等表面标准上表现良好，但在更深层的教学行为上遇到困难，尤其是在避免答案泄露和处理学生调试历史方面。研究表明，模型家族和指令调优方式似乎比参数数量更能预测辅导员的质量，尽管由于测试模型数量有限，这一结论的强度受到限制。基于最新教育提示工程研究的有针对性的提示修订，改善了11个模型中10个的得分。这些结果强调了在特定教育背景下，基于教学法的基准对于选择小型语言模型的宝贵价值。该基准不仅有助于模型选型，还推动了对AI辅导员能力更细致的评估，为教育技术领域提供了实用的工具。未来，研究者计划扩展基准，覆盖更多场景和模型。