尤尔根·施密德胡伯：世界模型、强化学习与改变AI的一年

在人工智能的发展历程中，1991年是一个具有特殊意义的年份。这一年不仅是20世纪唯一的回文年，更因为尤尔根·施密德胡伯（Jürgen Schmidhuber）在慕尼黑的一个小型实验室中，带领团队推出了多项如今成为全球科技巨头核心的算法。当时的计算成本比今天昂贵约一千万倍，学术竞争远不如现在激烈，这为开创性工作提供了独特的环境。

施密德胡伯在访谈中强调，他们并未发明深度学习（那要归功于1965年乌克兰的研究），但1991年的工作实现了重大飞跃。他们提出了“世界模型”的概念，即一个预测机器，能够通过强化学习帮助智能体做出决策。这一框架包含两个关键部分：一个用于预测未来的模型，以及一个使用该模型进行规划和决策的控制者。为了改进模型，控制者还需要具备“人工好奇心”，主动探索那些能最大化预测误差的行为序列。

谈到当前的大语言模型（LLM），施密德胡伯指出它们本质上是监督学习的产物，通过预测文本中的下一个词来模仿互联网数据，因此具有强烈的“人类偏见”。这使得它们在语言任务上表现出色，但在决策领域仍有不足。真正的决策需要强化学习，而LLM可以作为世界模型嵌入其中。

关于象棋AI的发展，施密德胡伯追溯到康拉德·楚泽（Konrad Zuse）在1941年构建的通用计算机和最早的象棋程序。随后，1997年IBM的深蓝通过穷举搜索击败了卡斯帕罗夫，而更早的1994年，Tesauro的神经网络通过强化学习在西洋双陆棋上达到人类水平，这更预示了现代AI的方向。

施密德胡伯还谈到了递归神经网络和梯度下降的核心作用，以及从1990年就开始探索的“使世界可微”的思想。他谦虚地表示自己并不特别聪明，只是希望能构建出比自己更智能的机器。展望未来，施密德胡伯认为真正的挑战在于将预测模型与强大的决策系统结合起来，实现更通用的人工智能。这次访谈涵盖了AI发展中的多个关键节点，从早期的算法突破到当代的大模型浪潮，为听众提供了深刻的历史视角和技术洞见。