マルチテーブルQAのための合成対比推論

マルチテーブル質問応答（Multi-table Q&A）は、複数のリレーショナルテーブルにわたって関連する証拠を検索し、スキーマをリンクし、構成論的推論を実行する必要がある難しい自然言語処理タスクです。しかし、既存のマルチテーブルQAデータセットは通常、質問と最終回答のみを提供し、回答がどのように導出されるかを説明する推論の監視信号が不足しています。このギャップに対処するため、Ankit Pratap Singh氏らの研究チームは、MMQAベンチマーク向けに合成対比推論トレースデータセットを構築しました。

この研究の主要な革新は、異種の大規模言語モデル（LLM）を使用して検証済みの正のトレースともっともらしい負のトレースを生成し、対比選好ペアを作成することです。正のトレースは正しい推論経路を表し、負のトレースは一般的な推論エラーを含みます。これらの選好ペアは、対比選好最適化（Contrastive Preference Optimization, CPO）を用いてオープンウェイトLLMを微調整するために使用されます。実験では、Qwen3-14B、Mistral-8B、Llama-3.1-8Bの3つのモデルをテストしました。結果は、従来のQA教師あり微調整（SFT）と比較して、CPOがMMQAで絶対平均9.7%から16.3%の改善を達成し、最大で21ポイントの向上を示しました。

アブレーション実験により、異種の正および負のトレース生成器を使用することで対比信号が強化されることが明らかになりました。単一の生成器を使用すると対比信号が弱まるのに対し、異種生成器はより豊富な対比情報を提供し、モデルが正しい推論経路と誤った経路をより適切に区別できるようにします。また、自動評価と人間評価の両方で、生成されたトレースペアが忠実で一貫性があり、意味のある対比であることが確認されました。この手法は、マルチテーブルQAタスクに効果的な推論監視手段を提供するだけでなく、複雑な推論を必要とする他のNLPタスクにも新たな道を開くものです。オープンソースモデルの進歩に伴い、このような合成データ駆動型の微調整戦略は、さらに多くの応用シナリオで重要な役割を果たすことが期待されます。