大規模言語モデル(LLM)は多くのタスクで優れた性能を発揮する一方、特に長文生成において幻覚を起こしやすい。論文は、冗長な検索コンテキストと長い推論連鎖が事実誤りを増幅すると指摘する。近年の研究では、重要な情報がモデルの出力に近い位置にあるほど事実精度が高まるという現象が示されているが、既存の検索拡張言語モデル(RALM)にはこの近接性を確保する効果的な仕組みが欠けている。
従来のRALMは多ターンの検索によって外部証拠を推論に注入するが、それだけでは重要な情報が最終出力の近くに留まることを保証できない。推論が長くなるほど重要な事実は文脈の中で薄まり、モデルが回答を生成する際に当初の証拠から逸脱する可能性がある。論文はこの問題を、重要情報と出力の間の近接性のボトルネックとして整理している。
この課題に対処するため、著者らはMicro-Macro Retrieval(M2R)と呼ぶ新しい「生成しながら検索する」枠組みを提案する。マクロレベルでは外部ソースから粗粒度の証拠を検索し、推論全体の背景と事実の裏付けを提供する。ミクロレベルでは、推論中に構築される重要情報リポジトリから必須の結果を抽出し、回答生成時にそれらを再利用する。外部検索と推論内部に蓄積された重要情報の両方を活用することで、重要な情報を出力に近づけるという設計目標に直接アプローチし、長文タスクにおける幻覚を効果的に削減する。
訓練面では、M2Rはカリキュラム学習に基づく強化学習戦略と、カスタマイズされたルールベースの報酬を採用しており、検索と根拠付けの技能を安定的に獲得できるようにしている。複数のベンチマークでの広範な実験により、特に長いコンテキストの設定において高い有効性が示された。本論文はYujie Feng氏ら10名の著者によるもので、2026年4月10日にarXivへ投稿され、計算と言語(cs.CL)に分類され、人工知能(cs.AI)にも関連している。