拥抱经验主义——从彩票假说到创造现实影响：乔纳森·弗兰克尔访谈

在ACM SIGAI的出版物《AI Matters》的这篇交叉转载中，埃拉·斯卡伦与乔纳森·弗兰克尔进行了深入对话。弗兰克尔因提出彩票假说而荣获2023年AAAI/ACM博士论文奖。这场对话覆盖面极广，从经验主义与理论证明的张力，到计算机科学研究方法的范式转变（尽管根本问题未变），再到年轻研究者如何在一个日益强调影响力的世界中快速成长，以及作为研究者的真正意义。

弗兰克尔的博士论文聚焦于他2018年首次提出的彩票假说。该假说旨在理解深度神经网络如何学习、为何学习以及究竟学到了什么。尽管过去五到十年间神经网络备受瞩目，但其学习过程依然迷雾重重，而且任何看似清晰的答案都会随着系统规模不断扩大而迅速过时。他提出的一个核心问题是：这些系统究竟需要多大才能有效学习？我们通常通过扩大模型规模来提升性能，但这是否是必经之路？文献中长期记载着一个奇特现象：训练完成后，可以删除大量参数而模型性能几乎不受影响。这引发了一个悖论：既然最终模型可以缩小，为何初始必须如此庞大？如果尝试从零训练那个较小的网络，它却无法有效学习。弗兰克尔发现了一个令人惊讶的答案：在初始随机权重中，某些特定的值至关重要。如果使用这些特定值从头训练一个小网络，它可以成功学习；但如果重新采样随机值，则无法学习。这就是“彩票”隐喻的由来——中奖的随机种子需被保留。

这项工作的持久影响在于对经验主义的坚定捍卫。在2018年，没有优雅的数学证明而只依靠经验发现是相当反常且有争议的。当时计算机科学界倾向于追求形式化理论，弗兰克尔的研究被一些人视为“不原则”。但他坚信，原则性的经验主义同样是获取知识的有效途径。如今，随着AI系统复杂到无法用现有数学框架描述，经验方法已成为主流。他的论文某种程度上成为了这一转变的标志。

关于彩票假说的后续发展，弗兰克尔指出原始方法虽然简单但成本高昂：需先训练大网络再逐步剪枝。尽管有更高效的变体，但质量有所下降。他认为到2026年，这一问题已不再值得深入研究。目前，他在Databricks的团队致力于一个更根本的挑战：如何科学地评估AI是否真正有效。他强调，当前最紧迫的问题不是AI有多智能或高效，而是缺乏判断其工作效果的严谨方法。通过与真实用户直接交流，而非依赖传统基准测试，他试图了解AI在实际场景中的价值。他还致力于强化学习和构建更贴近真实需求的评估基准。弗兰克尔认为，计算机科学正经历从理论世界到经验世界，再到理解什么使系统对人类有益的又一次概念飞跃。