経験主義の受容――宝くじ仮説から現実世界への影響力まで：ジョナサン・フランクルへのインタビュー

ACM SIGAIの出版物『AI Matters』のクロスポストで、エラ・スカランがジョナサン・フランクルにインタビューした。フランクルは2023年のAAAI/ACM博士論文賞を受賞した宝くじ仮説について議論する。この広範囲にわたる会話では、経験主義と理論的証明、コンピュータ科学のアプローチの変化（基本的な問題は変わっていないとしても）、若手研究者が何よりも影響力を重視する世界に急速に適応している様子、そして研究者であることの意味について掘り下げている。

フランクルの博士論文研究は、2018年に初めて提唱した宝くじ仮説に関するものだった。その目的は、深層ニューラルネットワークがどのように学習するか、なぜ学習するか、何を学習するかを理解することだった。過去5〜10年にわたるニューラルネットワークへの注目にもかかわらず、学習プロセスは依然として非常に神秘的である。彼が問うたのは、これらのシステムは学習するためにどれだけ大きくなくてはならないか、という問題だった。一般的に、モデルを大きくすると学習が向上するが、それは必須なのだろうか？文献では何十年も観察されてきた奇妙な現象がある。つまり、深層ニューラルネットワークを訓練した後、多くのパラメータを削除してもモデルは同様に機能する。これは、最初からモデルはそれほど大きくなくてはならなかったのかという疑問を提起する。しかし、削除後の小さなネットワークを最初から訓練しようとすると、うまく学習しない。なぜ学習結果は比較的小さくて済むのに、学習プロセスには大きなネットワークが必要なのか？フランクルは、初期のランダムな重みの中に特定の値が重要であるという奇妙な答えを発見した。その特定の値を持つ小さなネットワークを最初から訓練すれば学習できるが、同じ分布から新たにサンプリングした値では学習できない。これが「宝くじ」の比喩の由来である。

この研究の永続的な影響は、経験主義への焦点にある。2018年には、エレガントな理論的証明なしに経験的な発見をすることは奇妙で物議を醸した。当時、コンピュータ科学界は形式数学を重視しており、フランクルの研究は「原則的でない」と見なされた。しかし彼は、原則的な経験主義は世界について知識を得る有効な方法だと主張した。現在、AIシステムは数学的枠組みでは扱えないほど大規模になり、経験的方法が主流となった。彼の論文はこの変化の象徴となった。

宝くじ仮説のその後の方法について、フランクルは元の方法はシンプルだがコストがかかると述べている。大規模ネットワークを訓練し、徐々に枝刈りする必要がある。効率的な方法は存在するが品質が低く、彼はこの問題は2026年には研究する価値がないと考えている。現在フランクルはDatabricksで、AIが実際に機能しているかどうかを判断するという根本的な問題に取り組んでいる。彼はベンチマークではなく実際のユーザーと対話し、AIの実用的価値を評価している。また、強化学習とより良いベンチマークの構築にも取り組んでいる。彼は、コンピュータ科学が理論から経験、さらに人間中心へと移行する必要性を強調している。