AIが学習に役立つと主張する研究が撤回される

2025年5月、杭州師範大学のJin WangとWenxiang Fanは、Springer Natureのジャーナル『Humanities & Social Sciences Communications』に「ChatGPTが学生の学習パフォーマンス、学習認識、高次思考に与える影響：メタ分析からの洞察」と題する研究を発表しました。このメタ分析は、ChatGPT（または他のAIツール）を使用する学生は使用しない学生よりも成績が良いという大胆な主張を行いました。具体的には、学習パフォーマンスに大きなプラスの効果（g=0.867）、学習認識と高次思考に中程度のプラスの効果（それぞれg=0.456と0.457）があるとされました。また、効果を発揮するには4〜8週間の期間が必要で、問題ベースの学習やChatGPTをインテリジェントチューターとして柔軟に統合する場合に最適だと述べられていました。

この結論は教育テクノロジー分野で直ちに採用され、ソーシャルメディアで広く共有され、AI製品の推進に使われました。しかし、発表から間もなく批判が殺到しました。Ben Williamsonはブログで、この研究は「方法論的に欠陥があり、誇張され、誤解を招く」と指摘。翌月にはノルウェー北極大学のMagnus IngebrigtsenとMarko Lukicが「Wang and Fan (2025) のChatGPTと学習成果に関する結論を無効化する実質的な誤り」と題する論文を発表し、さまざまな問題を指摘しました。

問題は主に2つに分類されました。分析の問題と、分析に含まれた研究の問題です。分析の問題としては、含まれた研究数の不一致、研究の適切な重み付けの欠如、発見された効果の過大報告などが挙げられました。特に深刻なのは、学習パフォーマンスの効果量g=0.867について、研究自身のフォレストプロットでは効果量は0.5近くになるはずだという指摘です。一方、含まれた研究には、撤回された研究、誤ったラベルの研究、サンプルサイズが小さすぎる研究、報告された効果が大きすぎて信頼できない研究が含まれていました。さらに、多くの研究は交絡変数を適切に制御しておらず、信頼性をさらに低下させていました。

IngebrigtsenとLukicは、これらの問題から研究はその結論を支持できないと結論づけ、撤回を勧告しました。Springer Natureによると、原著者は連絡に応答せず、結果として研究は撤回されました。しかし、撤回は発表からほぼ1年後でした。これが最大の問題です。

ChatGPTが2022年11月にリリースされ、この研究が2025年5月に発表されたことを考えると、質の高い研究を行うには時間が不十分でした。初期の研究には小さなサンプルサイズや変数制御の欠如などの問題がつきものです。それにもかかわらず、ジャーナルは明らかに問題のある研究を発表し、それが1年間にわたりAI教育に関する最も影響力のある研究の一つとなりました。これはジャーナルの編集と査読プロセスに深刻な疑問を投げかけます。

この事例は、AIが学習に与える影響を理解するには長い時間がかかることを示しています。悪い研究が過大な影響を持つことを防ぐためには、何がわかっていないかを認めることが重要です。この研究が突出したプラットフォームを得たことで、AIに関する議論には往々にして欠けている知恵と慎重さが求められます。