多模態CoLRAG-TF：用於複雜PDF的三重過濾檢索

檢索增強生成（RAG）在處理異構PDF集合時面臨諸多挑戰，包括多模態內容、領域特定術語以及跨分散證據的多跳推理需求。針對這些問題，Takato Yasuno提出了多模態CoLRAG-TF系統，這是一種四軸融合架構，旨在實現複雜文件的魯棒檢索。該系統透過整合四種檢索策略來應對這些挑戰：密集文本嵌入、BM25關鍵詞匹配、知識圖譜三元組過濾和影像相似度。首先，系統從43份日本災害教訓PDF中提取了2403個塊，並利用混合OCR流水線和基於大語言模型的標題生成技術構建了多模態索引。為了增強組合推理能力，系統進一步提取了11414個OpenIE三元組，並使用FAISS進行索引，實現了亞秒級的三元組查詢和相關性訊號的分層傳播。在檢索過程中，系統採用受HippoRAG2啟發的粗到細檢索器，按卷→章節→塊的順序逐步縮小搜尋空間，最後進行融合評分。透過貝葉斯最佳化確定各軸的融合權重，結果發現三元組軸必須佔據主導地位（α=0.44），以抵消詞彙偏差並維持多跳檢索質量。在457對基準測試中，多模態CoLRAG-TF取得了0.9909的檢索召回率，並且多跳答案相似度較單跳查詢提升了71.6%。此外，該系統還展示了影像到教訓的流水線，利用視覺大語言模型處理視覺輸入，證明了該方法在災難領域之外的廣泛應用潛力。這些結果表明，三重過濾的多模態融合對於在嘈雜、異構PDF上進行結構化推理至關重要。該框架不僅限於災難領域，還可以推廣到其他需要多跳推理的複雜文件檢索場景。透過結合多種模態和粗到細的檢索策略，CoLRAG-TF顯著提升了檢索質量和效率，為RAG系統在處理異構PDF時提供了一種有效的解決方案。