CSTutorBench：評估小型語言模型作為積木式程式設計輔導員的基準

大型語言模型作為AI輔導員正受到越來越多的關注，但在K-12教育中部署它們會引發隱私、成本和依賴專有模型等問題。小型語言模型（SLM）提供了一種有前景的替代方案，但為特定教育環境選擇合適的模型仍然困難，尤其是在目標領域（如積木式程式設計）幾乎不在模型訓練資料中的情況下。為此，研究人員推出了CSTutorBench，這是一個用於評估語言模型在VEX VR（一種積木式機器人環境）中擔任電腦科學輔導員表現的基準。該基準由17個基於場景的問題組成，這些問題根據一個基於教學法和反饋研究的教學評分表進行評分，並採用人在環路中的大語言模型作為評判的評估流程。初步實驗涵蓋了11個引數規模在4B到120B之間的模型，結果顯示出模型在詞彙和語氣等表面標準上表現良好，但在更深層的教學行為上遇到困難，尤其是在避免答案洩露和處理學生除錯歷史方面。研究表明，模型家族和指令調優方式似乎比引數數量更能預測輔導員的質量，儘管由於測試模型數量有限，這一結論的強度受到限制。基於最新教育提示工程研究的有針對性的提示修訂，改善了11個模型中10個的得分。這些結果強調了在特定教育背景下，基於教學法的基準對於選擇小型語言模型的寶貴价值。該基準不僅有助於模型選型，還推動了對AI輔導員能力更細緻的評估，為教育技術領域提供了實用的工具。未來，研究者計劃擴充套件基準，覆蓋更多場景和模型。