過度訓練：通往類人AI之路
文章探討了Gwern的理論，認為透過過度訓練（grokking）大模型在小資料集上，可以實現更接近人類的通用智慧。作者分析了當前LLM的侷限性，並提出了與主流做法相反的訓練策略。
匿名博主Gwern近期發表了一篇長達一萬三千詞的帖子《透過彈射實現類人神經網路》，提出了一種關於為什麼LLM不具備真正靈活的類人智慧的理論，以及如何訓練出這樣的LLM。Gwern在AI領域頗有聲望，早在2020年GPT-3釋出時，他就透過《縮放假說》一文預測了大語言模型的發展趨勢。儘管這類理論在網路上並不少見，但Gwern的觀點值得認真對待。
Gwern的理論基礎是“grokking”現象。2022年，OpenAI發表論文顯示，在簡單資料集上長時間訓練模型後，模型會突然出現能力飛躍。第一階段模型像死記硬背一樣壓縮資料，但持續訓練會迫使模型找到更簡單的壓縮方式，最終發現底層規則，從而獲得深刻理解。這一過程被稱為“grokking”，源自羅伯特·海因萊因的造詞，意為“獲得深刻、直觀且根本的理解”。
Gwern的核心論點包括：現代LLM的泛化能力不如人類，因為它們沒有對其核心領域實現grokking；實現grokking需要在相對較小的資料集上過度訓練一個超引數化的模型，這與當前前沿實驗室的做法完全相反；這種訓練方式類似於人腦的學習機制；如果有人願意投入數十億美元嘗試，可能會立刻帶來真正類人的LLM。作者認為，即使不依賴人腦類比，這一論點仍然有說服力。
關於LLM是否缺乏grokking，作者指出，LLM在特定領域非常聰明，但會犯人類絕不會犯的錯誤，這明顯是泛化失敗的證據。雖然有一篇論文聲稱LLM也表現出類似grokking的模式，但作者認為那更可能是泛化與記憶的混合。Gwern的意思是，LLM至少還有一次巨大的泛化飛躍尚未實現。從人類的存在來看，這種飛躍是可能的。
當前AI實驗室的做法是訓練相對較小的模型（即使是最大的前沿模型也可能只有幾萬億引數，活躍引數更少），並使用海量資料。Gwern建議完全相反：訓練一個一百萬億引數的超大模型，但只使用一小部分資料。這樣，模型無法透過簡單記憶來提升，被迫尋找更深層的泛化。儘管這聽起來很荒謬——資料越多模型越聰明是常識——但Gwern認為，當資料集受限時，grokking更容易發生。
大型實驗室可能還沒有嘗試過這種方法。Gwern作為內部人士，他的帖子本身就是證據。此外，訓練一百萬億引數模型面臨巨大的工程難題，目前最大的模型（如Claude Mythos）也遠未達到這個規模。但頂級實驗室有資源和人才去嘗試。有趣的是，政治障礙可能和技術障礙一樣難以克服：訓練過程會在很長一段時間內看起來毫無進展，但消耗數十億美元，很少有公司有勇氣持續資助。
Gwern的帖子還詳細論證了人腦發育的類似機制，但作者選擇不依賴這個類比。2024年，純縮放策略（簡單訓練更大版本的GPT-3.5）已經失效，OpenAI的更大版本GPT-4表現不夠好，最終以GPT-4.5釋出。之後的主要進步來自推理能力和更好的自動強化學習，但這些似乎都不是通往超級智慧的可靠路徑。作者不確定是否同意Gwern，但強迫非常大的LLM去grok是一個可能開啟機器之神的簡單想法，希望有大實驗室願意嘗試。