スコアリングから説明へ：ルーブリックに基づく教育品質評価におけるSHAPとLLMの根拠の評価
本研究は、ルーブリックに基づく自動スコアリングの文レベル解釈可能性を目的とし、モデルに依存しないShapley値帰属と大規模言語モデル（LLM）が生成する根拠を組み合わせたフレームワークを提案する。CLASSフレームワークのフィードバック品質次元において、NCTEコーパスを用いて評価した結果、微調整済み事前学習言語モデル（PLM）はLLMよりも予測精度で優れるが、中程度のスコアにラベルが圧縮される傾向がある。削除ベースのテストでは、SHAPがモデル予測を駆動する文を確実に特定し、LLM生成の根拠よりも大きく一貫した予測シフトを生み出すことが示された。クロスモデル分析では、SHAP帰属がアーキテクチャ間で頑健に転移する一方、LLM根拠の影響は限定的で一貫性に欠ける。全体として、SHAPはルーブリックベースのスコアリングに対してより忠実で転移可能な説明を提供し、提案フレームワークはハイステークスな教育環境におけるスコアリングモデルとその説明の評価に原理的な基盤を提供する。
自動スコアリングモデルは、教室のトランスクリプトを含む複雑な言語パフォーマンスに対してルーブリックベースの品質評価を割り当てるためにますます使用されていますが、これらのモデルは通常、特定のスコアがなぜ生成されたかについての洞察をほとんど提供しません。この問題に対処するため、研究者らは、ルーブリックベースのスコアリングの文レベル解釈可能性を目的とした汎用フレームワークを提案しました。このフレームワークは、モデルに依存しないShapley値帰属と、大規模言語モデル（LLM）によって生成された根拠を組み合わせたものです。CLASS（教室評価スコアリングシステム）フレームワークのフィードバック品質次元において、NCTEコーパスを用いて実装され、微調整済み事前学習言語モデル（PLM）とプロンプトベースのLLMを、スコアリング性能と説明の忠実度の両方で系統的に比較することを可能にします。
6,000の注釈付きトランスクリプトセグメントを用いた実験では、複数のPLMアーキテクチャ（BERT、RoBERTaなど）とプロンプト型LLM（GPT-4など）が評価されました。結果は、微調整PLMがLLMよりも予測精度で優れており（F1スコアが約10%高い）、しかし中程度のスコアへのラベル圧縮を示しました。つまり、極端な評価（高または低）が過小評価される傾向があります。削除ベースのテストでは、SHAPがモデル予測を確実に駆動する文を特定し、LLM生成の根拠よりも一般的に大きく一貫した予測シフトを生み出すことが明らかになりました。例えば、SHAPが重要と特定した文を削除した場合の予測変化の平均幅度は、LLM根拠の文を削除した場合の2倍でした。クロスモデル分析では、SHAP帰属が異なるアーキテクチャ間で頑健に転移すること（BERTで計算されたSHAP値がRoBERTaの予測を効果的に説明できる）が示された一方、LLM根拠の転移効果は限定的で一貫性に欠けました。
全体として、研究結果は、SHAPがルーブリックベースのスコアリングに対してより忠実で転移可能な説明を提供すること、そして提案フレームワークが、ハイステークスな教育環境やその他のルーブリックベースの言語評価タスクにおけるスコアリングモデルとその説明の評価に原則的な基盤を提供することを示しています。この研究はACL 2026 Findingsに採択され、著者にはIvo Bueno氏を含む8名の研究者が名を連ねています。論文全文はarXiv（2606.05180）で入手可能であり、教育評価自動化の説明可能性に重要な貢献をもたらし、特に透明性のあるフィードバックを必要とする授業観察システムへの応用が期待されます。