在金融文檔問答任務中,模型需要從結構複雜的公司文件中整合表格、文本和腳註等多源異構證據,執行復雜的多步數值推理。傳統的檢索增強生成方法通常採用單次檢索後生成的範式,難以應對金融分析中常見的組合推理鏈。為突破這一瓶頸,來自研究團隊的三位學者提出了FinAgent-RAG——一種專為金融數值推理精度設計的智能檢索增強生成框架。
該框架的核心在於迭代檢索-推理循環與自驗證機制。具體而言,FinAgent-RAG包含三個領域特定的創新組件:首先是對比金融檢索器,它通過難負樣本挖掘訓練,能夠區分語義相似但數值上不同的金融段落,從而提升檢索的相關性。其次是程序化思維推理模塊,該模塊生成可執行的Python代碼來執行精確算術運算,避免了基於大語言模型的計算錯誤。最後是自適應策略路由器,它根據問題複雜度動態分配計算資源,在保持精度的同時將API成本降低了41.3%(在FinQA數據集上)。
在三個公開基準數據集(FinQA、ConvFinQA和TAT-QA)上的實驗表明,FinAgent-RAG的執行準確率分別達到76.81%、78.46%和74.96%,比最強基線高出5.62至9.32個百分點。此外,消融研究、跨骨幹網絡評估(涉及四種大語言模型)以及部署成本分析進一步驗證了該框架的穩健性和在金融機構中的實際可行性。例如,在跨骨幹網絡評估中,FinAgent-RAG在使用不同LLM作為基礎時均能保持領先性能,顯示出良好的泛化能力。部署成本分析還表明,該框架在保持高精度的同時,能夠顯著降低API調用成本,這對於金融行業的大規模應用至關重要。
FinAgent-RAG的提出為金融文檔智能問答案例提供了新的解決方案,其迭代推理和資源自適應分配的設計思路也對其他需要多步推理的領域具有借鑑意義。相關論文已提交至Expert Systems with Applications期刊,代碼和數據預計將在後續公開。