本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Micro-Macro Retrieval:大規模言語モデルの長文生成における幻覚を削減

記事の要約

研究者らはMicro-Macro Retrieval(M2R)を提案した。生成しながら検索する枠組みで、マクロレベルで外部ソースから粗粒度の証拠を検索し、ミクロレベルで推論中に構築した重要情報リポジトリから必須結果を抽出して再利用する。重要情報と出力の近接性を高め、長文生成における幻覚を削減することを狙う。

ソースarXiv Computational Linguistics著者: Yujie Feng, Jian Li, Zhihan Zhou, Pengfei Xu, Yujia Zhang, Xiaoyu Li, Xiaohui Zhou, Alan Zhao, Xi Chen, Xiao-Ming Wu
Micro-Macro Retrieval:大規模言語モデルの長文生成における幻覚を削減
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)は多くのタスクで優れた性能を発揮する一方、特に長文生成において幻覚を起こしやすい。論文は、冗長な検索コンテキストと長い推論連鎖が事実誤りを増幅すると指摘する。近年の研究では、重要な情報がモデルの出力に近い位置にあるほど事実精度が高まるという現象が示されているが、既存の検索拡張言語モデル(RALM)にはこの近接性を確保する効果的な仕組みが欠けている。

従来のRALMは多ターンの検索によって外部証拠を推論に注入するが、それだけでは重要な情報が最終出力の近くに留まることを保証できない。推論が長くなるほど重要な事実は文脈の中で薄まり、モデルが回答を生成する際に当初の証拠から逸脱する可能性がある。論文はこの問題を、重要情報と出力の間の近接性のボトルネックとして整理している。

この課題に対処するため、著者らはMicro-Macro Retrieval(M2R)と呼ぶ新しい「生成しながら検索する」枠組みを提案する。マクロレベルでは外部ソースから粗粒度の証拠を検索し、推論全体の背景と事実の裏付けを提供する。ミクロレベルでは、推論中に構築される重要情報リポジトリから必須の結果を抽出し、回答生成時にそれらを再利用する。外部検索と推論内部に蓄積された重要情報の両方を活用することで、重要な情報を出力に近づけるという設計目標に直接アプローチし、長文タスクにおける幻覚を効果的に削減する。

訓練面では、M2Rはカリキュラム学習に基づく強化学習戦略と、カスタマイズされたルールベースの報酬を採用しており、検索と根拠付けの技能を安定的に獲得できるようにしている。複数のベンチマークでの広範な実験により、特に長いコンテキストの設定において高い有効性が示された。本論文はYujie Feng氏ら10名の著者によるもので、2026年4月10日にarXivへ投稿され、計算と言語(cs.CL)に分類され、人工知能(cs.AI)にも関連している。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • M2Rはマクロレベルの外部検索とミクロレベルの重要情報再利用を組み合わせた「生成しながら検索」の枠組みである。
  • 既存の検索拡張言語モデルが保証できなかった、重要情報と出力の近接性というボトルネックに直接対処する。
  • カリキュラム学習に基づく強化学習とカスタマイズされたルールベース報酬で訓練される。
  • 複数のベンチマーク実験で有効性を示し、特に長いコンテキストの設定で効果が高い。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。