トシン・アデウミ、マーカス・リウィッキ、フォテイニ・シミストラ・リウィッキ、ラマ・アルハレド、ハマム・モカイェド、エスラ・シュメル＝アルパク氏らによる最新の介入研究では、生成AI（GenAI）の文脈において、学生が反論をライティングすることで批判的思考を養う可能性を探りました。特に、GenAI利用に伴うカンニングや認知的外部化のリスクを考慮し、教育現場でのAI活用の可能性と限界を明らかにすることを目的としています。
研究チームは大学の特定コースから36人の学生を募集し、気候変動やソーシャルメディア規制など、現代社会で議論の多い4つのテーゼから1つを選んで反論を書かせました。学生はAIが生成した内容に対する反論を自分自身で作成し、その論理性を評価されました。有効な35件の提出物（1件は不正のため除外）に対し、6つの確立されたルーブリック（焦点、論理、内容、スタイル、正確性、参考文献）を用いて、3人の人間評価者（学生の相互評価2名と経験豊富な教員1名）が5段階のリッカート尺度で採点しました。同時に、GPT-4やClaudeなどの最先端大規模言語モデル（LLM）6種類も同様のルーブリックで評価を行いました。
研究は混合手法デザインを採用し、定性的な自由記述フィードバックと定量的な統計分析を組み合わせました。その結果、2つの重要な発見がありました。第一に、学生が自ら書いたAI生成コンテンツへの反論には、批判的思考の重要な要素である論理性が明確に含まれていること。第二に、明確なルーブリックに基づけば、GenAIは学生のライティングを大規模に評価でき、その結果は人間の評価と概ね一致することです。具体的には、1つのモデルを除き、すべてのAIモデルで人間評価者との間でGwetのAC2一致係数が0.33となり、中程度の一致を示しました。
ただし、1つのモデルでは有意な偏りが見られ、人間評価との乖離が確認されました。これは、AIによる教育評価の実装にはモデル選択と継続的な監視が不可欠であることを示唆しています。また、学生の反論には証拠の引用や反対意見への対応など、論理的な構成が認められました。自由記述フィードバックからは、学生はAI評価に対しておおむね好意的である一方、プライバシーや公平性に関する懸念も表明されました。
本研究は、AIが教育評価において人間の教師を補完するツールとして機能し得ることを実証しました。特に大規模クラスでの採点負担軽減に有効です。しかし、複雑な文脈や感情を要する課題では人間の判断が必要であり、AI評価を完全に代替することはできません。今後の研究では、評価の精度向上と倫理的課題の解決が求められます。