跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

面向低资源开源Text-to-SQL模型的知识蒸馏框架

文章摘要

该论文提出一种知识感知的Text-to-SQL框架,通过构建包含模式语义、缩写、业务逻辑和查询模式的任务特定知识库,并将其注入训练与推理阶段,以提升低资源领域数据库上的性能。

来源arXiv Computational Linguistics作者: Tianhao Qiu, Xiaojun Chen
面向低资源开源Text-to-SQL模型的知识蒸馏框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇题为《Knowledge Distillation for Low-Resource Open-source Text-to-SQL Model》的论文于2026年5月13日提交至arXiv,编号为arXiv:2605.22843v1,属于计算与语言(cs.CL)类别,并交叉列入信息检索(cs.IR)方向。作者为Tianhao Qiu及其另一位合作者,全文共17页、包含5幅图,采用LaTeX排版,文件大小约1,519 KB,DOI为10.48550/arXiv.2605.22843。论文关注的核心问题是如何在低资源条件下提升开源模型的Text-to-SQL能力。

Text-to-SQL任务的目标是把自然语言问题转换成可直接执行的SQL查询,从而让不具备技术背景的用户也能访问关系型数据库,用于数据分析和智能数据服务。然而在实际应用中,这类系统的表现常常受限于低资源环境:高质量的标注数据对十分稀缺,在特定领域的数据库中尤为明显。除此之外,数据库Schema本身的表述往往并不透明,其中充斥着缩写、隐式业务逻辑等并未在Schema中显式编码的信息,这些都给模型的准确理解带来额外困难。

现有的数据合成与提示(prompting)技术虽然能够提升覆盖范围,但往往无法生成与任务紧密相关、语义有据且符合数据库约束的样例。针对这些不足,作者提出了一个知识感知的Text-to-SQL框架:该框架会构建面向具体任务的知识库,内容包括Schema语义、缩写含义、业务逻辑以及查询模式,并将这些知识同时注入训练阶段与推理阶段。在训练侧,该框架能够生成多样且与上下文紧密相关的合成训练数据;在推理侧,则通过有针对性的知识检索来增强模型表现。

实验部分覆盖了七个基准测试,既包括通用数据集,也包括领域特定数据集。结果表明,该方法显著提升了开源与闭源大型语言模型在Text-to-SQL任务上的性能,在低资源的领域特定场景中效果尤为突出,同时增强了模型的泛化能力、鲁棒性和适应性。论文给出的MSC分类号为68T50与68P15,ACM分类号包括H.2.3、I.2.7和I.2.6。

展开要点与分析

文章情报

工程师进阶

要点

  • 构建任务特定知识库,涵盖模式语义、缩写、业务逻辑和查询模式
  • 生成多样且上下文接地的合成训练数据,并通过知识检索增强推理
  • 在七个基准上显著提升开源与闭源大模型的Text-to-SQL性能

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。