大規模言語モデルにおける情報識別
新しい研究により、大規模言語モデル（LLM）が外部情報を統合する際に重大な欠陥を持つことが明らかになった。信頼できる情報源とそうでないものの区別、および真実に向かって信念を更新する能力がほぼ偶然のレベルである。Learn2Discernフレームワークを用いて13のモデル、約67万回の試行でテストした結果、モデルは信頼性の2倍、情報源の人気に依存し、主張が正確性を向上させるか悪化させるかに関わらず同程度に更新することが示された。ユーザー調査（n=299）では、これらの欠陥が信頼と使用意図を低下させることが確認された。単純な推論時介入により、両方の識別能力を部分的に改善できる。
大規模言語モデル（LLM）は、インターネットなどの外部知識ソースと組み合わせて使用されることが増えていますが、それらが情報を適切に評価できているのでしょうか？アリゾナ大学とマイクロソフトリサーチの研究チームは、この問題を「情報識別」として形式化し、Learn2Discern（L2D）という実験フレームワークを提案しました。L2Dは3つの規範的公理に基づき、解釈可能な指標を用いて、モデルの情報源識別（信頼できる情報源からより多く学習する能力）と真実識別（主張が真実に近づく場合により多く更新する能力）を評価します。外部妥当性を確立するために、事前登録済みの割り当て調整済みユーザー調査（n=299）を実施したところ、実際のLLMユーザーは3つの公理すべてを支持し、これらの公理に違反すると信頼と使用意図が低下すると報告しました。この調査は、LLMの振る舞いが実際のユーザーにとって重要であることを示しています。
13のモデル（GPT-4、Claude、Llamaシリーズなど）を用いて約67万回の試行を行った結果、両方の次元で一貫した失敗が見られました。モデルは情報源と真実の識別においてほぼチャンスレベルの性能しか示さず、情報源の信頼性の2倍、人気に依存することが判明しました。つまり、モデルは権威ある情報源よりも広く拡散された情報を優先する傾向があります。また、主張が真実に近づくか遠ざかるかにかかわらず、同程度に信念を更新しました。これは、モデルが実際の情報の正確性よりも、自身の既存知識を確認する方向に働くことを示唆しています。モデルは自身の事前分布がすでに正確なデータセットで外部知識を最も効果的に統合しました。新しい大規模モデルは真実識別を改善しましたが、情報源識別は改善されず、モデルの複雑化では対処できない盲点であることが示されました。
研究チームは、プロンプトの調整や出力後処理などの単純な推論時介入が両方の識別能力を向上させることも発見しました。例えば、モデルに情報源の信頼性を考慮するように明示的に指示するなどの介入が効果的でした。LLMが従来の検索エンジンに取って代わりつつある現在、情報識別はますます重要なアライメント特性となっています。研究で使用されたデータセットと調査は公開され、テストベッドとして提供されています。この論文は2026年5月22日にarXivに提出され、人工知能、計算言語学、コンピュータと社会などの分野をカバーしています。研究者らは、今後のモデル開発において情報識別能力の向上が不可欠であると強調しています。