金融文書質問応答（QA）タスクでは、企業の提出書類に散在する構造化テーブル、テキスト、脚注などの異種証拠から複雑な多段階数値推論が求められます。従来の検索拡張生成手法は一度検索して生成する単一パスのパラダイムを採用しており、金融分析に多い合成推論チェーンに対応できていません。この課題に取り組むため、研究チームはFinAgent-RAGを提案しました。これは金融数値推論の高精度要件に特化して設計されたエージェント型RAGフレームワークです。
このフレームワークは反復的な検索・推論ループと自己検証を統合しています。具体的には、3つのドメイン特化型革新を組み込んでいます。（1）コントラスティブ金融検索器：ハードネガティブマイニングで訓練され、意味的に類似しているが数値的に異なる金融パッセージを区別します。（2）プログラム思考モジュール：エラーが発生しやすいLLMベースの暗算に頼らず、正確な算術のために実行可能なPythonコードを生成します。（3）適応型戦略ルーター：問題の複雑さに基づいて計算リソースを動的に割り当て、FinQAで精度を維持しながらAPIコストを41.3%削減します。
3つのベンチマーク（FinQA、ConvFinQA、TAT-QA）での広範な実験により、FinAgent-RAGはそれぞれ76.81%、78.46%、74.96%の実行精度を達成し、最強のベースラインを5.62～9.32パーセントポイント上回りました。アブレーション研究、4つのLLMによるクロスバックボーン評価、導入コスト分析により、フレームワークの堅牢性と金融機関での実用的実現可能性が確認されました。例えば、クロスバックボーン評価では、異なるLLMをベースとした場合でも一貫して高い性能を維持し、汎用性の高さを示しました。導入コスト分析では、高精度を保ちながらAPI呼び出しコストを大幅に削減できることが示され、金融業界での大規模応用に重要な意味を持ちます。
FinAgent-RAGは金融文書のインテリジェントなQAに新たなソリューションを提供し、その反復推論とリソース適応割り当ての設計は、多段階推論を必要とする他の分野にも応用可能です。本論文はExpert Systems with Applicationsに投稿されており、コードとデータは後日公開される予定です。