言語モデルは訓練データを超えて、全く新しい数学的概念を独立に発見できるのだろうか。arXivに投稿された新研究は、「ゼロ」の発見を事例に、現代のAIモデルが数学的な視野を広げる可能性を検討した。数学的発見には、分布外への強い汎化能力、すなわち真に新しく、論理的に強力な数学的構造を仮説として生み出す能力が求められる。人間の認知において言語能力がこのような汎化を支えているという仮説がある。
研究者らは単純算術をテストケースとして用い、GPT-2規模の言語モデルがテスト時に「ゼロ」の概念を独立に発見できるかを評価した。その結果、言語事前学習の有無にかかわらず、これらのモデルはテスト時にこの汎化を達成できないことが示された。つまり、モデルは既存の知識から「無」を推論し、ゼロという特別な数を自ら捉えることはできないのである。
しかし、モデルが少数の「ゼロ」の例で訓練されると状況は大きく変わる。研究によれば、ゼロを含む数十から数百の例で訓練した後、モデルの性能は大幅に向上する。これは、ゼロの概念の発見がモデルにとって容易ではないものの、的を絞った学習を通じて急速に概念を習得できることを示している。
さらに興味深いのは、言語事前学習がゼロの学習に必要な例数を約50%削減できる点だ。これは、言語能力がニューラルモデルにおける数学的発見の「足場」を提供できることを意味する。事前学習で得た言語知識が新しい数学概念の学習を効率化し、データから発見へのギャップをある程度埋めるのである。
この研究はPhoebe Zeng氏ら3名によって行われ、2026年6月15日に投稿された。人工知能（cs.AI）と計算と言語（cs.CL）の学際領域に属し、論文番号はarXiv:2606.17289v1である。本研究は、AIシステムが数学的知識の境界をどのように押し広げ得るかを実証的に示すとともに、抽象推論を支える言語事前学習の潜在的な価値を示唆している。