AIモデルは正しい答えを与えるが、間違った情報源を指すことが多い

北京大学の研究者による最近の研究で、GPTやGeminiなどの主要なAIモデルが文書分析タスクにおいて、回答を実際には裏付けないテキスト箇所を頻繁に引用することが明らかになりました。モデルが正しい答えを出している場合でも、引用された証拠は誤っていることがよくあります。研究者らはこの現象を「帰属幻覚」（attribution hallucination）と名付け、法律や医療などの規制分野で誤った引用に基づいて重要な判断が下されるリスクを警告しています。

この問題を体系的に評価するため、研究チームはCiteVQAベンチマークを開発しました。これは帰属幻覚をテストする初めてのベンチマークです。このベンチマークでは、視覚質問応答タスクにおいて、モデルが答えだけでなく正確な引用情報も提供することが求められます。初期テストでは、最先端のモデルでも引用の正確性に著しい欠陥があることが示されました。

この研究は、AIの実用における信頼性の課題を浮き彫りにしており、開発者がモデルの証拠推論能力を改善する必要性を示しています。