擁抱經驗主義——從彩票假說到創造現實影響：喬納森·弗蘭克爾訪談

在ACM SIGAI的出版物《AI Matters》的這篇交叉轉載中，埃拉·斯卡倫與喬納森·弗蘭克爾進行了深入對話。弗蘭克爾因提出彩票假說而榮獲2023年AAAI/ACM博士論文獎。這場對話覆蓋面極廣，從經驗主義與理論證明的張力，到電腦科學研究方法的正規化轉變（儘管根本問題未變），再到年輕研究者如何在一個日益強調影響力的世界中快速成長，以及作為研究者的真正意義。

弗蘭克爾的博士論文聚焦於他2018年首次提出的彩票假說。該假說旨在理解深度神經網路如何學習、為何學習以及究竟學到了什麼。儘管過去五到十年間神經網路備受矚目，但其學習過程依然迷霧重重，而且任何看似清晰的答案都會隨著系統規模不斷擴大而迅速過時。他提出的一個核心問題是：這些系統究竟需要多大才能有效學習？我們通常透過擴大模型規模來提升效能，但這是否是必經之路？文獻中長期記載著一個奇特現象：訓練完成後，可以刪除大量引數而模型效能幾乎不受影響。這引發了一個悖論：既然最終模型可以縮小，為何初始必須如此龐大？如果嘗試從零訓練那個較小的網路，它卻無法有效學習。弗蘭克爾發現了一個令人驚訝的答案：在初始隨機權重中，某些特定的值至關重要。如果使用這些特定值從頭訓練一個小網路，它可以成功學習；但如果重新取樣隨機值，則無法學習。這就是“彩票”隱喻的由來——中獎的隨機種子需被保留。

這項工作的持久影響在於對經驗主義的堅定捍衛。在2018年，沒有優雅的數學證明而只依靠經驗發現是相當反常且有爭議的。當時電腦科學界傾向於追求形式化理論，弗蘭克爾的研究被一些人視為“不原則”。但他堅信，原則性的經驗主義同樣是獲取知識的有效途徑。如今，隨著AI系統複雜到無法用現有數學框架描述，經驗方法已成為主流。他的論文某種程度上成為了這一轉變的標誌。

關於彩票假說的後續發展，弗蘭克爾指出原始方法雖然簡單但成本高昂：需先訓練大網路再逐步剪枝。儘管有更高效的變體，但質量有所下降。他認為到2026年，這一問題已不再值得深入研究。目前，他在Databricks的團隊致力於一個更根本的挑戰：如何科學地評估AI是否真正有效。他強調，當前最緊迫的問題不是AI有多智慧或高效，而是缺乏判斷其工作效果的嚴謹方法。透過與真實使用者直接交流，而非依賴傳統基準測試，他試圖瞭解AI在實際場景中的價值。他還致力於強化學習和構建更貼近真實需求的評估基準。弗蘭克爾認為，電腦科學正經歷從理論世界到經驗世界，再到理解什麼使系統對人類有益的又一次概念飛躍。