AIアドバイスで人間の正確性が3分の1に低下、自信は2倍に増加、研究結果

フランスとイタリアの3大学による研究で、AIアドバイスが人間の判断力を著しく抑制することが明らかになった。AIアドバイスにアクセスした後、参加者が「わからない」と認める割合は44%から3%に急落し、正確性は27%から9%に低下、一方で自信は30%から76%に跳ね上がった。研究者は「人々ははるかに悪くなり、正確性は3分の1に過ぎないのに、自信は2倍になった」と述べた。

この研究は、ミラノ・ビコッカ大学のValerio Capraro准教授、エコール・ノルマル・シュペリウールのChiara Marcoccia、ローマ大学のWalter Quattrociocchiによって行われた。研究では、AIモデルが通常失敗する質問（例えば映画『ベッカムに恋して』のチームユニフォームの色）を意図的に使用した。研究者らは、これらの質問に通常間違えるStep 3.5 Flashモデルを使用し、判断力の低下が信頼できるツールへの合理的な委任として説明されないようにした。自分で正しく答えられたはずの参加者も、AIに相談したことで間違えるようになった。

金銭的インセンティブはある程度効果があったが、限定的だった。無知を認める意思は3%から8%に、正確性は9%から16%に上昇したが、AIなしのベースライン（それぞれ44%と27%）には依然として大きく及ばなかった。今年初め、ウォートン校の研究者は「認知的降伏」という言葉を作り、人々が80%の確率で間違ったAIの回答を受け入れ、AIなしで作業する人よりも高い自信を報告する現象を説明した。この新しい研究は、より鋭いデータを追加している。問題は単に人々が間違ったAIの回答を信頼することではなく、AIが利用可能であるというだけで、自分が知らないことを認識する認知習慣が抑制されることである。

「人間にとって『わからない』と言う能力は非常に重要です。それは自分自身の知識の限界を認識することを表します」とCapraro氏は述べた。同氏は特に、批判的思考スキルを発達させる前にこうしたシステムに接する子供たちを懸念している。GoogleのAI検索改革は、自信満々のAI生成サマリーでリンクを置き換え、Common Sense Mediaは今週、このデザインを生徒にとって「許容できないリスク」と呼んだ。パターンは一貫している。AI製品は「わからない」と言うことはなく、答えるように設計されている。それを使う人間も同じことを学んでいる。