自動スコアリングモデルは、教室の文字起こしを含む複雑な言語パフォーマンスに対してルーブリックベースの品質評価を割り当てるためにますます利用されているが、通常、特定のスコアが生成される理由についてほとんど洞察を提供しない。この解釈可能性のギャップに対処するため、ACL 2026 Findingsに採択された論文は、ルーブリックベースのスコアリングに対する文レベルの解釈可能性のための一般的なフレームワークを提案している。このフレームワークは、モデル非依存のShapley値帰属（SHAP）と大規模言語モデル（LLM）が生成する根拠を組み合わせることで、スコアリング性能と説明の忠実性の両方について、異なるスコアリングモデルを体系的に比較することを可能にする。
研究者らは、CLASSフレームワークの「フィードバックの質」次元にNCTEコーパスを用いてこのフレームワークを実装した。約6,000の注釈付き文字起こしセグメントを用いて、微調整された事前学習済み言語モデル（PLM）とプロンプトで使用されるLLMを比較した。その結果、微調整PLMは予測精度でLLMを上回るが、ラベル圧縮と呼ばれる現象を示し、スコアが中間スケールに集中する傾向があった。この発見は、PLMのスコアリングがより正確であっても、出力分布の分散が不十分で評価の識別性に影響を与える可能性を示唆している。
説明の忠実性を評価するため、著者らは削除ベースのテストを採用した。重要と説明された文を削除し、モデル予測の変化を観察する方法である。結果として、SHAPが特定した文はモデル予測を確実に駆動し、それらの文を削除すると通常より大きく一貫した予測シフトが生じた。対照的に、LLMが生成した根拠は予測への影響が限定的で一貫性に欠けた。さらにクロスモデル分析により、SHAP帰属は異なるアーキテクチャ間で頑健に転移する一方、LLM根拠の影響は限定的で不安定であることが明らかになった。
全体として、この研究は、ルーブリックベースのスコアリングタスクにおいてSHAPがより忠実で転移可能な説明を提供することを実証している。提案されたフレームワークは、高リスクの教育環境やその他のルーブリックベースの言語評価タスクにおいて、スコアリングモデルとその説明の両方を評価するための原則的な基盤を提供する。著者はIvo Buenoら8名で、arXiv（2606.05180）に公開されている。