这篇由 Irene Strauss 与另外两位作者共同完成的论文《Generating in the Limit with Infinitely Many Hallucinations》,于 2026 年 6 月 8 日提交至 arXiv,编号为 arXiv:2606.28354v1,属于 Computation and Language(cs.CL)类别,并交叉涉及形式语言与自动机理论(cs.FL)以及机器学习(cs.LG)。文章从一个经典的学習理论框架出发,试图为现代大语言模型的生成行为建立更贴近现实的数学刻画。
在经典的“极限语言识别”(language identification in the limit)范式中,学习被建模为一场对抗博弈:一方是掌握未知目标语言的对手,它不断向学习者展示该语言中的字符串;另一方是学习者,其任务是根据这些样本最终识别出整个目标语言。这一范式长期用于研究归纳学习的可识别性与极限条件。
近来提出的“极限语言生成”(language generation in the limit)框架改变了目标,使其更贴近当代语言建模的实践。在新框架下,学习者不再需要识别整个语言,而是需要持续产出属于目标语言的、此前未出现过的有效字符串。换言之,评价标准从“识别正确”转向“生成有效且新颖”。相关研究已经揭示出一个根本性张力:对目标语言的广泛覆盖往往以牺牲输出的有效性为代价。
针对这一问题,作者引入了一种新的“精确率”(precision)概念,并把生成问题重新表述为经典的召回率—精确率权衡(recall-precision trade-off)。在这一视角下,广泛覆盖对应召回,而输出是否合法对应精确。论文随后在枚举方式、新颖性要求与有效性约束的不同组合下,系统分析极限条件下的生成能力,力图让理论设定更接近大语言模型实际面临的处境。
论文的一项核心贡献,是对“并非最终有效”的学习者进行分析。传统定义通常要求学习者在有限步之后不再犯错;作者则放宽这一条件:允许学习者犯下无穷多次错误,只要这些错误的频率趋于零,从而使精确率仍保持为一。作者证明,当对手长期隐藏目标语言的很大一部分时,这种放宽能够严格提升召回率。换句话说,偶尔出现“幻觉”并不必然破坏整体可靠性,只要其比例受到控制。
此外,论文还研究了新颖性约束的连续放松形式:不再要求每个输出都必须是前所未见的字符串,而只要求输出中固定比例的部分具备新颖性。这一设定承认重复在实际生成中难以避免,但可以通过比例加以约束。综合来看,这些结果朝向一个更现实的语言生成模型迈进:偶发错误与重复无法完全消除,但它们发生的速率可以被有效控制。
从提交信息看,该论文由 Irene Strauss 提交,版本 v1 于 2026 年 6 月 8 日 09:58:13 UTC 发布,文件大小约 60 KB,并提供 PDF、实验性 HTML 以及 TeX 源码等多种访问形式。论文的交叉学科定位表明,其结论同时对话语计算、形式语言理论以及机器学习基础研究具有参考价值。