图书馆与图书管理员:为什么AI需要两个不同的“大脑”
当前大型语言模型试图同时扮演知识库(图书馆)和推理引擎(图书管理员)的角色,但这种“一体通用”架构限制了二者的能力。本文指出,知识存储与智能推理是两种不同的能力,未来的AI系统应分离为专门的知识集群和规则集群,并由协调器(真正的图书管理员)进行协作,从而更高效地处理复杂、新颖的问题。
几周前,有人在餐桌上向一个AI模型提出了一个表面看似简单的问题——问题本身没有标准答案,但需要将两个模型从未同时见过的概念结合起来。模型没有大声宣告失败,而是自信地给出了一个听起来完全正确、由每个正确部分拼凑而成的答案,但整体却毫无意义。
这次失败耐人寻味,因为它并非知识缺失。模型并不缺少事实,它拥有所需的一切信息。它缺乏的,是将它“知道”的规则正确应用于从未记忆过答案的情境的能力。这种失败并不罕见,它指向一个值得严肃对待的问题:我们可能正让一个系统承担两个截然不同的任务,却奇怪它为何两者都表现平平。
想象一下图书馆和图书管理员作为两个独立的存在。图书馆是事实的仓库——每一本书、每一份记录、每一个被记录下来的事实。它不主动行动,只是忠实地保存信息,等待被发现。而图书管理员则是一种完全不同类型的智能。一位优秀的图书管理员无需记熟书架上的每一本书,他们拥有更有价值的能力:懂得如何拆解一个陌生问题,找出各部分之间的关系,知道去哪里查找,连接建筑内不同区域的观念,最终给出答案——即使从未有人问过完全相同的问题。
目前,大型语言模型被训练成同时扮演这两个角色,融合在一个系统中。一方面,它们要充当图书馆——将互联网的庞大部分记忆到参数中;另一方面,又要充当图书管理员——基于存储的材料进行推理,回答新颖的问题。这种设计在说出口时显得颇为奇怪。我们不会建造一座每本书都被要求亲自推理其他所有书的图书馆。然而,我们默认采用的架构大致如此:所有内容——事实、语法、逻辑、算术、风格、世界知识——都被压缩到同一组权重中,以相同的方式学习,以相同的方式检索。这是一个巧妙的技巧,让我们取得了非凡的进展。但它可能并不适合未来的发展。
过去几年,改进AI的主要策略非常直接:让图书馆变得更大。训练更多文本、更多令牌、更多参数,性能随之提升。这一方法如此成功且可预测,以至于“规模就是一切”几乎成了行业口号。然而,无论图书馆多大,都存在上限——我们比夸大宣传的要更接近这个上限。互联网本身就是一个巨大且不断更新的图书馆,每秒都在增加新条目:新闻、论文、价格、发现、代码变更、修正。相比之下,模型的内部记忆在训练结束时就被冻结。它“知道”的每个事实都停留在某个截止日期,而世界却在不断变化。
这正是检索增强系统(通过搜索外部来源而非依赖记忆权重)在当代AI实际部署中变得如此关键的原因。这等于默认了本文的观点:互联网已经是一个比任何模型的内部记忆都更好的图书馆。试图记忆整个互联网是一场必输且越来越无意义的竞赛。因此,如果图书馆问题基本已解决——或者至少可以通过指向已有的东西来解决——那么智能的下一个飞跃应该来自哪里?不是更大的图书馆,而是更好的图书管理员。
这里有一个真正重要的差距,通过简单的对比最容易看清。拿两个学习乘法的孩子为例。一个孩子通过纯重复记忆了乘法表——7乘以8是56,9乘以6是54——任何表内问题都能快速准确回答。但问他47乘以83,他就卡住了,因为那个组合从未出现在记忆的表格中。另一个孩子理解乘法的本质——重复加法、缩放、底层规则——而非答案查找表。他在7乘以8上可能慢一些,但遇到从未见过的47乘以83,他能推导出来,因为他没有记忆输出,而是学习了生成输出的规则。
大型语言模型尽管复杂,但往往更像第一个孩子。当问题类似于训练数据中的某个模式时——即使相似性被多层措辞掩盖——它们能出色地给出正确答案。但只要问题稍微超出已见过模式的形状,裂缝就会出现。不是因为模型不智能,而是因为看起来像理解的东西,本质上是一种极其复杂的记忆和插值。
这正是“智能库”与“知识库”区别的实际含义。它并非指僵化的规则手册,而是指系统真正学习了规则——语言的语法、证明的逻辑、编程语言的语法、论证的结构——抽象得足够好,能干净地推广到从未遇到的情境;与之相对的是,系统只是擅长猜测下一个词,因为它见过太多文本,以至于几乎任何东西都与某些事物相似。
知识是检索,而智能是泛化。它们是不同的能力,让一个系统以相同的方式同时做这两件事,很可能导致两者都不如它们被分开构建时那么好。
如果知识和智能确实是不同的能力,下一个自然问题是架构上的:我们是否需要一个大模型试图同时做到两者,还是可以构建一个系统——由较小的、更专业化的部分组成的集群,每个部分擅长一项工作,并由一个知道如何在它们之间路由的协调器连接?想象一个运转良好的团队,而不是一个全知全能的神谕。你不会希望最好的事实核查员同时撰写法律论证,也不会希望最好的逻辑学家同时担任百科全书。你需要专家——以及一个足够聪明的协调器,对于任何给定的问题,知道该派团队中的谁去处理。
在这种设想中,知识集群优化为图书馆擅长的事情:忠实地存储和检索事实,保持最新,覆盖尽可能广的范围。它不需要聪明,只需要准确和全面。相比之下,规则集群完全不需要庞大。一个真正干净地学习了“算术规则”或“语言语法”的系统,是紧凑、严密、高保真的——更接近一组精炼的原理,而非杂乱无章的档案。它的胜利不是因为大,而是因为正确和通用,能够处理从未见过的组合,因为它学习了底层结构而不是例子表格。
在两者之上的是协调器——系统中的真正图书管理员——其全部工作就是知道对于任何给定的问题,该咨询哪个专家,如何组合他们的答案,以及何时问题同时需要事实和规则协同工作。
这并不是一个全新的想法——智能由许多专业化的协作部分而非一个全知全能的怪物涌现出来——在认知科学和计算机科学中已经以不同名称探索了几十年。变化在于,在现代AI系统中构建它终于变得可行了。
坦诚的复杂性
如果在理论上知识和智能能像类比中那样干净地分离就好了。实际上并不完全如此。当今大型模型之所以能进行一定程度的推理,部分原因似乎来自它们训练数据的广度——接触海量文本似乎帮助这些系统学会了逻辑、论证和结构的模式,而不仅仅是事实。完全剥离知识,可能也会剥离一些规则学习所依赖的材料。在现有模型中,智能和知识在根源上是纠缠在一起的,而不是生活在我们可以简单地砌墙分隔的独立房间里。
所以,这个主张的诚实版本不是“完全分离是可以实现的”。它更狭窄也更有用:我们几乎肯定在扩大图书馆上过度投资了,超出了有意义回报的临界点,同时低估了图书管理员——系统中负责泛化、推理和路由而非回忆的部分。哪怕朝着分离这两个任务的不完美迈进,而不是坚持用一个模型统治一切,似乎也指向了正确的方向。
一个值得思考的不同问题
在相当长一段时间里,AI中的默认问题一直是“我们如何让模型更大?”现在可能值得用另一个问题来替代,至少在一段时间内:我们如何让分工更智能?
不是一个试图同时成为一切的单一庞大思维——一个不断增长的图书馆,同时还得是自己图书管理员。而是更接近一个系统:一个存放已知内容的地方,一个真正学会了事物如何运作的部分,以及一个足够聪明的东西坐在它们之间,在每时每刻知道你到底需要哪一个。
AI的下一个真正飞跃可能不再来自教给模型更多东西。它可能来自终于承认“这个模型”从来就不是一个单一的东西。