マルチモーダルCoLRAG-TF：複雑なPDFのための三重フィルタリング検索

検索拡張生成（RAG）は、異種PDFコレクションを扱う際に、マルチモーダルコンテンツ、ドメイン固有の用語、散在する証拠にわたるマルチホップ推論の必要性など、多くの課題に直面している。これらの問題に対処するため、Takato YasunoはマルチモーダルCoLRAG-TFシステムを提案した。これは、複雑なドキュメントのロバストな検索を実現する4軸融合アーキテクチャである。このシステムは、高密度テキスト埋め込み、BM25キーワードマッチング、ナレッジグラフトリプルフィルタリング、画像類似性の4つの検索戦略を統合する。まず、43の日本の災害教訓PDFから2403ブロックを抽出し、ハイブリッドOCRパイプラインと大規模言語モデルによるキャプション生成技術を用いてマルチモーダルインデックスを構築する。構成推論を強化するため、さらに11414のOpenIEトリプルを抽出し、FAISSでインデックス化して、サブ秒のトリプル検索と関連性信号の階層的伝播を可能にする。検索プロセスでは、HippoRAG2に触発された粗密検索器が、ボリューム→チャプター→ブロックの順に検索空間を狭め、最終的な融合スコアリングを行う。ベイズ最適化により融合重みを決定した結果、トリプル軸が支配的（α=0.44）である必要があることが判明し、語彙バイアスを打ち消し、マルチホップ検索品質を維持する。457ペアのベンチマークでは、マルチモーダルCoLRAG-TFは0.9909の検索再現率を達成し、マルチホップ回答類似度がシングルホップクエリより71.6%向上した。さらに、視覚大規模言語モデルを用いた画像から教訓へのパイプラインも示され、災害領域を超えた応用可能性が実証された。これらの結果は、ノイズの多い異種PDF上の構造化推論には三重フィルタリングマルチモーダル融合が不可欠であることを示している。このフレームワークは災害領域に限らず、マルチホップ推論が必要な複雑なドキュメント検索シナリオに適用可能である。複数のモダリティと粗密検索戦略を組み合わせることで、CoLRAG-TFは検索品質と効率を大幅に向上させ、異種PDFを扱うRAGシステムに効果的なソリューションを提供する。