法学教授は他の人間よりAIの回答を好む

大規模言語モデル（LLM）は教育用チューターとしてますます宣伝されているが、ほとんどの評価は数学や事実質問のような単一の正解がある領域に焦点を当てている。しかし、多くの分野は判断力、すなわち推論、曖昧さの評価、そして正当化可能な結論に依存している。法学はその厳格なテストの場を提供する。

Alejandro Salinas氏らによる新しい研究では、契約法のコースにおける短答式チュータリングの盲検評価が行われた。16人の米国法学教授が40の代表的な質問を作成し、自分たちの回答を書き、人間とLLMの回答を匿名で比較した2,918件の評価を行った。人間の回答は他の教授によるものであり、LLMの回答は当時の先進的なモデルによるものだった。結果は驚くべきものであった：教授たちはLLMを同業者よりもはるかに高く評価し、平均勝率は75.33%に達した。これは、ほぼ4回の比較のうち3回でLLMの回答が優れていると判断されたことを意味する。さらに、LLMのパフォーマンスは最高の指導者と同等であり、一部の指標ではそれを上回った。

より注目すべき点は、LLMの回答が「有害」（誤解を招く情報や不適切な内容を含むなど）とフラグ付けされた割合がわずか3.53%であったのに対し、教授の回答では12.06%と、その3倍以上であったことである。LLMの回答への好みは評価者間で一貫しており、法学界の共通の専門基準と価値観を反映していた。研究では、別のLLMを判定者として使用することで、評価プロセスを追加のモデルに確実に拡張できることも示されており、判断力が重要な領域でのAIチューター評価の効果的でスケーラブルな方法を提供している。

同時に、『経済文献ジャーナル』に掲載された別の研究によれば、AIとLLMツールは人間が書いたものとほぼ区別できない金融学術論文を大量生産できることが示されている。これは深い考察を促す：アカデミアにおいて、単に「多作」であることはもはや比較優位ではなくなり、真の価値はAIを活用して革新的でこれまでにないプロジェクトに取り組む人々にもたらされるだろう。法学教授によるAIへの偏愛は単なる始まりに過ぎず、AIが教育や専門分野でますます重要な役割を果たすことを示唆している。