击败文本到SQL基准测试：普通Claude加上语义层能获得多大提升？

Motley团队在最新博客中详细介绍了他们如何通过结合Claude SDK和开源语义层SLayer，在BIRD-INTERACT文本到SQL基准测试中取得了显著成果。他们的代理在a-interact mini-interact版本上达到了75.3%的通过率，而官方最佳成绩仅为36.33%。然而，团队指出，这一成就的关键并非SLayer本身，而是Claude SDK代理框架的引入。

BIRD-INTERACT基准测试旨在模拟真实工作环境，允许代理通过用户模拟器进行多轮交互、探索数据库并自主决定何时提交答案。团队选择了基于SQLite的mini-interact版本，以降低运行成本。为了分离代理框架和语义层的影响，他们构建了两种代理变体：一种使用SLayer，另一种直接使用原始SQL。结果显示，使用Claude SDK的代理显著优于基于PydanticAI的代理，而SLayer在此基础上带来了边际提升。

然而，团队发现基准测试中大量黄金答案存在错误，这可能导致假阴性评估。为此，他们开发了一个注释代理，对每个任务进行判断，决定黄金答案是否正确、是否与任务兼容，以及是否存在其他有效答案。基于修正后的答案，SLayer代理的通过率提升至83.7%，而纯SQL代理为79.0%。

SLayer的自动摄取流程完全自主运行，将知识库项作为记忆注入。团队强调，在真实使用中，人工介入编码知识库将带来更大收益。此外，基准测试还暴露了SLayer的一些边缘情况，促使团队改进了工具设计和错误纠正机制。例如，代理常将SQL风格的聚合语法（如count(*)）写成SLayer原生语法（*:count），现在SLayer会自动纠正这些模式。

总之，这项研究展示了代理框架和语义层在文本到SQL任务中的潜力。团队提醒，实际应用中的提升可能更为显著，因为本次运行完全依赖自动化流程，而人工策展可进一步优化性能。