無からの創造：言語モデルは「0」を発見できるか？
新しい研究では、言語モデルが独立して数学的概念「ゼロ」を発見できるかどうかを調査しています。GPT-2規模のモデルはテスト時に汎化できませんが、少数の例で訓練すると大幅に改善され、言語事前学習により必要な例の数が約50％減少することがわかりました。言語能力がニューラルモデルの数学的発見を支えることを示唆しています。
2026年6月にarXivに投稿された研究論文「Nothing from Something: Can a Language Model Discover 0?」（著者：Phoebe Zengら3名）は、人工ニューラルネットワークに基づくAIシステムが訓練データを超えて新しい数学的概念を発見できるかどうかを検証しています。数学的発見には強い分布外汎化能力、すなわち真に新しく、論理的により強力な数学構造を仮説する能力が必要です。人間の認知においては、言語能力がそのような汎化を支えるという仮説があります。本研究では、簡単な算数をケーススタディとして、現代のAIモデルが「ゼロ」の概念を独立に発見できるかを評価しました。実験にはGPT-2サイズの言語モデルが使用されました。その結果、言語事前学習の有無にかかわらず、テスト時にはモデルはゼロの概念を汎化できませんでした。しかし、数十から数百のゼロを含む算術例で訓練すると、モデルの性能は大幅に向上しました。さらに、言語事前学習によって必要な例の数が約50％減少することが示され、言語能力がニューラルモデルの数学的発見を促進する「足場」として機能することが明らかになりました。この研究成果は、AIシステムがどのようにして強い分布外汎化を達成できるかを理解する上で重要であり、より数学的に創造的なAIの開発に向けた手がかりを提供します。論文番号はarXiv:2606.17289で、PDFやHTML実験版などからアクセス可能です。