从无到有:语言模型能否发现“零”的概念?
一项新研究探索语言模型是否能独立发现“零”这一数学概念。研究发现,GPT-2规模的语言模型在零样本情况下无法泛化,但通过少量示例训练后性能显著提升,且语言预训练可减少所需示例约50%,表明语言能力有助于神经网络的数学发现。
一篇来自2026年的研究论文《Nothing from Something: Can a Language Model Discover 0?》近日在arXiv上公开,由Phoebe Zeng等三位研究者共同完成。该研究聚焦于一个核心问题:基于人工神经网络的AI系统能否超越其训练数据的边界,独立发现全新的数学概念?数学上的发现要求模型具备强大的分布外泛化能力,即能够假设出真正新颖的、甚至逻辑上更强大的数学结构。此前在认知科学中,语言能力被认为可能支撑这种泛化。为了验证这一假设,研究者选取了最简单也最基础的数学概念——'零'作为测试案例,使用简单的算术运算来评估现代语言模型。他们采用了GPT-2规模的语言模型,在包含加法如'0+3=3'等表达的数据集上进行实验。结果显示,在没有提供任何'零'相关示例的情况下,模型在测试中完全无法泛化出'零'的概念,无论是否经过了大规模语言预训练。但是,当模型经过仅数十到数百个包含零的算术示例微调后,其性能出现了显著提升。更有趣的是,那些预先经过语言训练的模型,只需要大约一半数量的示例就能达到同等性能,这表明语言能力在神经网络进行数学发现时起到了支架或脚手架的作用。这一发现对于理解AI如何实现更强的创新能力和数学直觉具有重要意义,也为未来开发能够自主探索数学新领域的AI系统提供了宝贵的经验。论文目前可通过arXiv获取,编号为2606.17289,并提供了PDF和HTML实验版等多种浏览方式。