AIモデルは正しい答えを与えるが、間違った情報源を指すことが多い
北京大学の研究者は、GPTやGeminiといった主要なAIモデルが文書分析において、回答を裏付けないテキスト箇所を頻繁に引用することを発見しました。答えが正しくても、引用された証拠は誤っていることがよくあります。研究者らはこれを「帰属幻覚」と呼び、法律や医学などの規制分野でのリスクを指摘しています。新しいCiteVQAベンチマークは、これを体系的にテストする初めてのものです。
記事インテリジェンス
エンジニア上級
要点
- AIモデルは文書分析で回答を支持しない引用をすることが多い
- 答えが正しくても引用証拠が誤っている「帰属幻覚」
- 北京大学がCiteVQAベンチマークを開発し初めて系統的テスト
- 法律や医学などの規制分野で特に重要
重要な理由
このニュースが重要なのは、AIモデルは文書分析で回答を支持しない引用をすることが多いためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
北京大学の研究者による最近の研究で、GPTやGeminiなどの主要なAIモデルが文書分析タスクにおいて、回答を実際には裏付けないテキスト箇所を頻繁に引用することが明らかになりました。モデルが正しい答えを出している場合でも、引用された証拠は誤っていることがよくあります。研究者らはこの現象を「帰属幻覚」（attribution hallucination）と名付け、法律や医療などの規制分野で誤った引用に基づいて重要な判断が下されるリスクを警告しています。
この問題を体系的に評価するため、研究チームはCiteVQAベンチマークを開発しました。これは帰属幻覚をテストする初めてのベンチマークです。このベンチマークでは、視覚質問応答タスクにおいて、モデルが答えだけでなく正確な引用情報も提供することが求められます。初期テストでは、最先端のモデルでも引用の正確性に著しい欠陥があることが示されました。
この研究は、AIの実用における信頼性の課題を浮き彫りにしており、開発者がモデルの証拠推論能力を改善する必要性を示しています。