SANA：大规模数据湖中问答代理的关键因素是什么？
本文提出SANA（搜索代理导航消融框架），一种诊断性消融框架，用于分解数据湖中探索性问答（EQA）任务的失败原因。通过将EQA任务转化为包含黄金源序列、清洗后子问题和执行记录的运行时配置文件，SANA构建理想化的搜索、规划和数据分析工具，对各组件进行消融，从而诊断策略失败。实验表明，数据分析是持续瓶颈，搜索在大型数据湖中限制显著，而规划问题相对较小。
在人工智能领域，针对大规模数据湖的探索性问答（EQA）任务要求LLM代理自主发现相关数据源、分析检索结果，并根据中间反馈调整行动。然而，传统的端到端准确率指标无法区分失败来自搜索、规划、数据分析还是代理的行动策略。为此，研究者提出了SANA（Search Agent Navigation Ablation framework）框架，这是一种诊断性消融框架，旨在系统性地识别和量化这些组件的贡献与瓶颈。
SANA的核心思想是将EQA任务转化为运行时配置文件，其中包含黄金源序列、清洗后的子问题以及执行记录。这些配置文件是通过对完美搜索、规划和数据分析的理想化假设构建的。具体而言，黄金源序列表示最优的数据源访问顺序，清洗后的子问题是将原始问题分解为可独立回答的步骤，执行记录则记录了代理在运行过程中每一步的操作。基于这些配置，SANA可以构建理想化的搜索、规划和数据分析工具，并通过逐一替换或移除组件进行消融实验。剩余的性能差距则直接反映了代理行动策略的失败程度。这种方法使得研究者能够从端到端准确率中提取出各组件的独立影响。
为了验证SANA作为可复用评估框架的有效性，研究团队改编了两个现有的EQA基准：LakeQA和KramaBench。LakeQA包含一个拥有超过10,000个表格的大型数据湖，而KramaBench则是一个规模较小的基准，包含约1,000个表格。他们在固定提示、预算、数据湖和运行时间的条件下，评估了轻量级和中型代理的表现。实验结果显示，数据分析在所有基准中都是一致的性能瓶颈，而规划的影响相对较小；搜索在LakeQA的大规模数据湖设置中是主要局限，但在规模较小的KramaBench中则不那么突出。具体来说，当移除理想化的数据分析工具时，代理的性能下降最为显著，而移除规划工具的影响则较小。此外，在LakeQA中，理想化的搜索工具能大幅提升性能，表明在大型数据湖中搜索是主要挑战。
SANA不仅帮助研究者分解了数据湖代理的失败原因，还为实现搜索、规划、数据分析和代理设计的系统性进步比较提供了标准化工具。未来，该框架有望指导更高效、更鲁棒的EQA系统开发，并为代理设计中的策略优化提供明确方向。