尤爾根·施密德胡伯：世界模型、強化學習與改變AI的一年

在人工智能的發展歷程中，1991年是一個具有特殊意義的年份。這一年不僅是20世紀唯一的迴文年，更因為尤爾根·施密德胡伯（Jürgen Schmidhuber）在慕尼黑的一個小型實驗室中，帶領團隊推出了多項如今成為全球科技巨頭核心的算法。當時的計算成本比今天昂貴約一千萬倍，學術競爭遠不如現在激烈，這為開創性工作提供了獨特的環境。

施密德胡伯在訪談中強調，他們並未發明深度學習（那要歸功於1965年烏克蘭的研究），但1991年的工作實現了重大飛躍。他們提出了“世界模型”的概念，即一個預測機器，能夠通過強化學習幫助智能體做出決策。這一框架包含兩個關鍵部分：一個用於預測未來的模型，以及一個使用該模型進行規劃和決策的控制者。為了改進模型，控制者還需要具備“人工好奇心”，主動探索那些能最大化預測誤差的行為序列。

談到當前的大語言模型（LLM），施密德胡伯指出它們本質上是監督學習的產物，通過預測文本中的下一個詞來模仿互聯網數據，因此具有強烈的“人類偏見”。這使得它們在語言任務上表現出色，但在決策領域仍有不足。真正的決策需要強化學習，而LLM可以作為世界模型嵌入其中。

關於象棋AI的發展，施密德胡伯追溯到康拉德·楚澤（Konrad Zuse）在1941年構建的通用計算機和最早的象棋程序。隨後，1997年IBM的深藍通過窮舉搜索擊敗了卡斯帕羅夫，而更早的1994年，Tesauro的神經網絡通過強化學習在西洋雙陸棋上達到人類水平，這更預示了現代AI的方向。

施密德胡伯還談到了遞歸神經網絡和梯度下降的核心作用，以及從1990年就開始探索的“使世界可微”的思想。他謙虛地表示自己並不特別聰明，只是希望能構建出比自己更智能的機器。展望未來，施密德胡伯認為真正的挑戰在於將預測模型與強大的決策系統結合起來，實現更通用的人工智能。這次訪談涵蓋了AI發展中的多個關鍵節點，從早期的算法突破到當代的大模型浪潮，為聽眾提供了深刻的歷史視角和技術洞見。