在生产环境中实现高精度Text-to-SQL的关键:自适应上下文引擎
WisdomAI的自适应上下文引擎(ACE)通过自动构建和管理上下文、持续学习和冲突解决,解决了Text-to-SQL在生产环境中由于上下文漂移导致的准确率下降问题。在LiveSQLBench基准测试中,ACE将准确率从20%提升至85%,经人工审核后可达95%以上。
大多数AI系统在演示中表现出色,但在生产环境中却失败。对于Text-to-SQL来说,问题几乎不在于模型,而在于上下文。表名会更改,业务定义会漂移,“收入”列对财务和销售部门可能意味着不同的东西。如果没有正确的上下文,模型就无法知道。WisdomAI构建的自适应上下文引擎(ACE)解决了这个上下文挑战。ACE将上下文视为一级工程系统,能够随着数据、用户和业务逻辑的变化而适应和演进。它从现有资源引导,从每次交互中持续学习,并在复杂性增长时保持一致性。
ACE的自动学习机制包括三个关键问题:从现有碎片化来源引导、从用户交互中持续学习、以及保持上下文无冲突。在引导阶段,ACE从数据库模式、爬取的数据样本和数据仓库查询日志中自动生成上下文,每个上下文片段都带有置信度分数。管理员可以自动接受高置信度上下文或手动审查边缘情况。用户还可以直接从代码和数据管道(如dbt、LookML)、知识库文档或MCP来源(如SaaS应用和网页)中注入上下文。持续学习方面,当用户提供反馈(点赞、点踩或自由文本纠正)时,ACE根据信号类型决定如何处理。结构良好的反馈会被原样记忆;模糊反馈则会触发状态空间探索,系统离线生成多个候选SQL,针对反馈信号进行评估,并存储最自信的一个。每个新上下文片段在存储前都会与现有片段进行交叉检查。冲突解决是另一个关键问题。例如,“收入”可能以两种不同方式定义,导致同一问题每次查询得到不同答案。WisdomAI自动检测这些冲突并向管理员提出修复建议。
在基准测试方面,文章指出BIRD-SQL不适合企业分析,因为其包含错误的参考SQL、查询过于简化,且上下文已经包含在问题中。WisdomAI使用内部评估和LiveSQLBench基准。在LiveSQLBench的5个数据集上,基线准确率为20%,经过知识库文件引导后达到50%,再通过上下文学习提升至85%。在生产中,人工审查通常将准确率推至95%以上。具体例子包括:在太阳能面板数据集上,通过上下文学习纠正了错误的行选择逻辑和业务逻辑(如维修成本公式)。此外,还发现了数据集中的质量问题。本文是WisdomAI工程博客系列的第一篇,后续将涵盖主动代理、上下文提取代理、延迟优化、安全与隐私控制等主题。