近日,一篇题为《EXPO-SQL: Execution-based Clause-level Policy Optimization for Text-to-SQL》的论文被ACL 2026 Findings接收。该研究由Jaehoon Lee等七位作者共同完成,针对Text-to-SQL任务中现有强化学习(RL)方法奖励设计粗粒度的问题,提出了一种基于执行的子句级策略优化方法。
Text-to-SQL旨在通过自然语言生成可执行的SQL查询,让用户无需掌握数据库查询语言即可获取数据。近年来,大语言模型结合强化学习的方法被广泛采用,利用执行反馈进行训练。然而,现有RL方法将所有子句视为一个整体,分配统一的查询级奖励,导致正确和错误的子句受到同等对待,使得模型难以从错误中学习。例如,一个包含正确SELECT和错误WHERE子句的查询会获得相同的奖励,从而无法引导模型改进WHERE子句。
为了解决这一问题,研究团队提出了EXPO-SQL。该方法通过分析SQL查询的执行结果(包括错误信息和子句级逐步执行)来识别错误子句,并为每个子句分配细粒度奖励。具体来说,EXPO-SQL首先执行完整的SQL查询,获取错误信息;然后,通过逐步执行每个子句,观察中间结果,从而精确定位导致错误的子句。这种设计提供了更精确的学习信号,帮助模型更好地生成正确的SQL语句。
实验在Spider、WikiSQL等广泛使用的Text-to-SQL基准测试上进行,结果显示EXPO-SQL在性能上显著超越了现有的监督微调、提示工程和基于RL的方法。例如,在Spider测试集上,EXPO-SQL的执行准确率比最先进的RL方法提高了5个百分点。该研究的代码已开源,可在GitHub上获取(https://github.com/jhn25/EXPO-SQL)。
论文还提供了详细的实验分析,包括20页正文和8幅图表,展示了子句级奖励设计的有效性和鲁棒性。这一工作为Text-to-SQL的强化学习训练提供了新的方向,有望推动该领域在实际应用中的进一步发展。