SANA：大規模データレイクにおけるQAエージェントの重要要素は何か？
本論文では、データレイク上の探索的質問応答（EQA）タスクの失敗要因を分解する診断的アブレーションフレームワークSANA（Search Agent Navigation Ablation framework）を提案する。EQAタスクを実行時プロファイル（ゴールドソース系列、サブクエリ、実行記録）に変換し、理想的な検索・計画・データ分析ツールを構築して各コンポーネントをアブレーションすることで、ポリシーの失敗を診断する。LakeQAおよびKramaBenchの実験では、データ分析が一貫したボトルネックであり、大規模データレイクでは検索が主要な制限要因であることが示された。
人工知能の分野において、大規模データレイクに対する探索的質問応答（EQA）タスクでは、LLMエージェントが自律的に関連データソースを発見し、検索結果を分析し、中間結果に基づいて行動を適応させる必要がある。しかし、従来のエンドツーエンドの精度指標では、失敗が検索、計画、データ分析、あるいはエージェントの行動ポリシーのいずれに起因するかを区別できない。この問題を解決するため、研究者らはSANA（Search Agent Navigation Ablation framework）を提案した。これは各コンポーネントの寄与とボトルネックを体系的に特定・定量化する診断的アブレーションフレームワークである。
SANAの核となるアイデアは、EQAタスクを実行時プロファイル（ゴールドソース系列、サブクエリ、実行記録を含む）に変換することにある。これらのプロファイルは、完全な検索、計画、データ分析の理想化された仮定に基づいて構築される。具体的には、ゴールドソース系列は最適なデータソースアクセス順序を示し、サブクエリは元の質問を独立して回答可能なステップに分解し、実行記録はエージェントの各ステップの操作を記録する。これらのプロファイルに基づき、理想的な検索、計画、データ分析ツールを構築し、各コンポーネントを順次置き換えまたは除去するアブレーション実験を行う。残された性能差は、エージェント行動ポリシーの失敗を直接反映する。この手法により、エンドツーエンドの精度から各コンポーネントの独立した影響を抽出できる。
SANAの有効性を検証するため、研究チームは既存のEQAベンチマークであるLakeQAとKramaBenchを適応した。LakeQAは10,000以上のテーブルを含む大規模データレイクであり、KramaBenchは約1,000テーブルの小規模ベンチマークである。固定プロンプト、予算、データレイク、実行時間の下で軽量および中規模エージェントを評価した。実験の結果、データ分析はすべてのベンチマークで一貫したボトルネックであり、計画の影響は比較的小さいことが明らかになった。さらに、検索はLakeQAの大規模データレイク設定では主要な制限要因であるが、小規模なKramaBenchではそれほど顕著ではなかった。具体的には、理想的なデータ分析ツールを除去した場合にエージェントの性能低下が最も大きく、計画ツールの除去による影響は小さかった。また、LakeQAでは理想的な検索ツールが性能を大幅に向上させ、大規模データレイクにおける検索の重要性が示された。
SANAは、データレイクエージェントの失敗原因を分解するだけでなく、検索、計画、データ分析、エージェント設計の進捗を体系的に比較するための標準化されたツールを提供する。将来的には、より効率的で堅牢なEQAシステムの開発を導き、エージェント設計におけるポリシー最適化の明確な方向性を示すことが期待される。