跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

无限幻觉下的极限生成:语言模型生成框架的新视角

文章摘要

本文重新审视极限语言生成框架,引入精确率概念并将问题重构为召回率-精确率权衡。研究表明,允许无限但频率趋零的错误可以严格提高召回率,尤其当对手永久保留大量目标语言时。

来源arXiv Computational Linguistics作者: Irene Strauss, Alexandra Butoi, Ryan Cotterell
无限幻觉下的极限生成:语言模型生成框架的新视角
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇由 Irene Strauss 与另外两位作者共同完成的论文《Generating in the Limit with Infinitely Many Hallucinations》,于 2026 年 6 月 8 日提交至 arXiv,编号为 arXiv:2606.28354v1,属于 Computation and Language(cs.CL)类别,并交叉涉及形式语言与自动机理论(cs.FL)以及机器学习(cs.LG)。文章从一个经典的学習理论框架出发,试图为现代大语言模型的生成行为建立更贴近现实的数学刻画。

在经典的“极限语言识别”(language identification in the limit)范式中,学习被建模为一场对抗博弈:一方是掌握未知目标语言的对手,它不断向学习者展示该语言中的字符串;另一方是学习者,其任务是根据这些样本最终识别出整个目标语言。这一范式长期用于研究归纳学习的可识别性与极限条件。

近来提出的“极限语言生成”(language generation in the limit)框架改变了目标,使其更贴近当代语言建模的实践。在新框架下,学习者不再需要识别整个语言,而是需要持续产出属于目标语言的、此前未出现过的有效字符串。换言之,评价标准从“识别正确”转向“生成有效且新颖”。相关研究已经揭示出一个根本性张力:对目标语言的广泛覆盖往往以牺牲输出的有效性为代价。

针对这一问题,作者引入了一种新的“精确率”(precision)概念,并把生成问题重新表述为经典的召回率—精确率权衡(recall-precision trade-off)。在这一视角下,广泛覆盖对应召回,而输出是否合法对应精确。论文随后在枚举方式、新颖性要求与有效性约束的不同组合下,系统分析极限条件下的生成能力,力图让理论设定更接近大语言模型实际面临的处境。

论文的一项核心贡献,是对“并非最终有效”的学习者进行分析。传统定义通常要求学习者在有限步之后不再犯错;作者则放宽这一条件:允许学习者犯下无穷多次错误,只要这些错误的频率趋于零,从而使精确率仍保持为一。作者证明,当对手长期隐藏目标语言的很大一部分时,这种放宽能够严格提升召回率。换句话说,偶尔出现“幻觉”并不必然破坏整体可靠性,只要其比例受到控制。

此外,论文还研究了新颖性约束的连续放松形式:不再要求每个输出都必须是前所未见的字符串,而只要求输出中固定比例的部分具备新颖性。这一设定承认重复在实际生成中难以避免,但可以通过比例加以约束。综合来看,这些结果朝向一个更现实的语言生成模型迈进:偶发错误与重复无法完全消除,但它们发生的速率可以被有效控制。

从提交信息看,该论文由 Irene Strauss 提交,版本 v1 于 2026 年 6 月 8 日 09:58:13 UTC 发布,文件大小约 60 KB,并提供 PDF、实验性 HTML 以及 TeX 源码等多种访问形式。论文的交叉学科定位表明,其结论同时对话语计算、形式语言理论以及机器学习基础研究具有参考价值。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出精确率新定义,将生成问题视为召回率-精确率权衡
  • 允许无限错误但频率趋零,可严格提高召回率
  • 研究新颖性约束的连续松弛,仅要求固定比例的输出是新颖的

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。