过度训练：通往类人AI之路
文章探讨了Gwern的理论，认为通过过度训练（grokking）大模型在小数据集上，可以实现更接近人类的通用智能。作者分析了当前LLM的局限性，并提出了与主流做法相反的训练策略。
匿名博主Gwern近期发表了一篇长达一万三千词的帖子《通过弹射实现类人神经网络》，提出了一种关于为什么LLM不具备真正灵活的类人智能的理论，以及如何训练出这样的LLM。Gwern在AI领域颇有声望，早在2020年GPT-3发布时，他就通过《缩放假说》一文预测了大语言模型的发展趋势。尽管这类理论在网络上并不少见，但Gwern的观点值得认真对待。
Gwern的理论基础是“grokking”现象。2022年，OpenAI发表论文显示，在简单数据集上长时间训练模型后，模型会突然出现能力飞跃。第一阶段模型像死记硬背一样压缩数据，但持续训练会迫使模型找到更简单的压缩方式，最终发现底层规则，从而获得深刻理解。这一过程被称为“grokking”，源自罗伯特·海因莱因的造词，意为“获得深刻、直观且根本的理解”。
Gwern的核心论点包括：现代LLM的泛化能力不如人类，因为它们没有对其核心领域实现grokking；实现grokking需要在相对较小的数据集上过度训练一个超参数化的模型，这与当前前沿实验室的做法完全相反；这种训练方式类似于人脑的学习机制；如果有人愿意投入数十亿美元尝试，可能会立刻带来真正类人的LLM。作者认为，即使不依赖人脑类比，这一论点仍然有说服力。
关于LLM是否缺乏grokking，作者指出，LLM在特定领域非常聪明，但会犯人类绝不会犯的错误，这明显是泛化失败的证据。虽然有一篇论文声称LLM也表现出类似grokking的模式，但作者认为那更可能是泛化与记忆的混合。Gwern的意思是，LLM至少还有一次巨大的泛化飞跃尚未实现。从人类的存在来看，这种飞跃是可能的。
当前AI实验室的做法是训练相对较小的模型（即使是最大的前沿模型也可能只有几万亿参数，活跃参数更少），并使用海量数据。Gwern建议完全相反：训练一个一百万亿参数的超大模型，但只使用一小部分数据。这样，模型无法通过简单记忆来提升，被迫寻找更深层的泛化。尽管这听起来很荒谬——数据越多模型越聪明是常识——但Gwern认为，当数据集受限时，grokking更容易发生。
大型实验室可能还没有尝试过这种方法。Gwern作为内部人士，他的帖子本身就是证据。此外，训练一百万亿参数模型面临巨大的工程难题，目前最大的模型（如Claude Mythos）也远未达到这个规模。但顶级实验室有资源和人才去尝试。有趣的是，政治障碍可能和技术障碍一样难以克服：训练过程会在很长一段时间内看起来毫无进展，但消耗数十亿美元，很少有公司有勇气持续资助。
Gwern的帖子还详细论证了人脑发育的类似机制，但作者选择不依赖这个类比。2024年，纯缩放策略（简单训练更大版本的GPT-3.5）已经失效，OpenAI的更大版本GPT-4表现不够好，最终以GPT-4.5发布。之后的主要进步来自推理能力和更好的自动强化学习，但这些似乎都不是通往超级智能的可靠路径。作者不确定是否同意Gwern，但强迫非常大的LLM去grok是一个可能开启机器之神的简单想法，希望有大实验室愿意尝试。