跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

无中生有:语言模型能否自行发现数字“0”?

文章摘要

一篇新论文以简单算术为案例,测试GPT-2规模的语言模型能否独立发现“零”的概念。研究发现,未经专门训练的模型无法在测试时完成这一泛化,但仅用数十到数百个“零”的样例微调后,模型性能大幅提升;语言预训练还能将所需样例数减少约50%。

来源arXiv AI作者: Phoebe Zeng, Thomas L. Griffiths, Brenden M. Lake
无中生有:语言模型能否自行发现数字“0”?
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇发表于2026年6月15日的arXiv论文《Nothing from Something: Can a Language Model Discover 0?》(意为"从有到无:语言模型能否发现0?")由Phoebe Zeng等三位作者完成,归类于人工智能(cs.AI)与计算和语言(cs.CL)两个学科方向,预印本编号为arXiv:2606.17289v1。论文关注的核心问题是:基于人工神经网络的AI系统正被寄予推动人类数学知识边界的厚望,而衡量这类系统的关键标尺之一,就是它们能否真正超越训练数据所覆盖的范围。

作者指出,数学发现所要求的并非普通的泛化能力,而是一种强烈的分布外泛化(out of distribution generalization):系统需要能够假设出某种全新的、在逻辑上可能更为强大的数学结构。已有研究曾提出假说,认为语言能力在人类认知中正是支撑此类泛化的基础。受此启发,本研究把简单算术选作一个可控的案例,用来考察现代AI模型如何扩展其数学视野,具体评测的题目是:这些模型能否独立地"发现"零(0)这个概念。

实验给出了两方面结果。第一,参数量相当于GPT-2规模的语言模型,无论是否经过语言预训练,都无法在测试阶段完成这一泛化——也就是说,仅凭已有的训练经验,模型无法自发地把握零这一概念。第二,如果让模型在数十到数百个关于零的示例上进行训练,其表现则会得到显著提升。换言之,这一概念并非无法学习,只是需要额外的、明确的实例来促成。

研究还揭示了一个值得关注的细节:语言预训练能够把所需的示例数量减少约50%。作者据此认为,语言能力可以在神经模型中为数学发现提供"脚手架"式的支撑,这与人类认知中语言辅助抽象思维的观点形成呼应。论文同时提供了PDF全文、实验性HTML版本以及TeX源文件,并附有DOI与提交历史等书目信息。

这一工作对理解大模型的数学能力边界具有参考意义:它表明,即便模型在既有数据上表现良好,面对真正新颖的数学概念时仍存在明显的分布外泛化缺口,而通过少量针对性示例与语言预训练的结合,可以部分弥合这一缺口。

展开要点与分析

文章情报

工程师进阶

要点

  • GPT-2规模语言模型无法零样本发现“零”的概念。
  • 数十至数百个“零”的样例训练可显著改善模型表现。
  • 语言预训练能将所需训练样例数减少约50%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。