關於AI系統技術追求的隨想

最近，我們的團隊購買了一套B300 GPU系統。看著這臺現代技術的奇蹟，我不禁回想起童年時家裡的PC：撥號上網、CRT顯示器、20GB硬碟、裝滿光碟的抽屜，記憶體還不到1GB，甚至不記得CPU是什麼，只記得那塊褪色的藍色英特爾貼紙。父親曾用3.5英寸軟盤把檔案帶回家，其中一張被我玩弄防寫標籤時弄壞了。如今，我面對的是擁有2.5TB尖端GPU視訊記憶體（更不用說龐大的多GPU系統本身）、70TB NVMe SSD、3TB記憶體和強大的AMD Epyc處理器。網絡卡的埠容量甚至需要Marvell製造的高速網路PHY系統。我不知如何理解我們日常生活中對待現代技術系統的冷漠——畢竟，我們用一句話來說，就是讓石頭為我們思考。於是，在凌晨兩點一列不安分的思緒列車上，你們得以享受我這些無端的嘮叨。

像這個行業的大多數人一樣，我也痴迷於LLMs，但並非那種狂妄自大、樂於燒光團隊AI預算的痴迷。我的思緒不斷翻騰：這對技術、對我自己、對家人、對社會意味著什麼？我的團隊裡有一半人，在經理的帶領下，像著了魔一樣擁抱AI優先的工作方式，並相信我們幾年內都會失業。而在我看來，當前行業的狀態不過是建立在炒作、謊言和基礎設施建設的暫時競賽之上。倫理和道德被拋諸腦後，毫不顧及人性、批判性思維和可持續發展。與此同時，所有平常的麻煩事仍在繼續：政治氣候日益惡化，氣候本身也不遑多讓，資源短缺、地緣政治變化、戰爭、階級不平衡和財富差距不斷加劇……

我夢想的是核聚變、自主機器人、更好的人權、也許全民基本收入、資源和技術民主化、免費而先進的醫療……清單很長。而我們實際得到的是：掠奪性的、基於AI的、利用心理學的廣告技術；網際網路上本就充斥著人類製造的垃圾，現在又湧現出無休止的AI生成垃圾；成本上升；資源短缺……我夢想中的未來在哪裡？那個我曾充滿希望地憧憬的、每個人都用渴望和興奮的語氣談論的未來？至少我的工作沒有積極危害，可以說是倫理中立的——它只是工程。但它服務於什麼？我能控制什麼？在這輩子，我應該努力實現什麼，才能讓世界變得比我經歷過的更好？

什麼是智慧？什麼是感知？當前的LLMs擁有這些嗎？要複製人腦及其神經通路，需要什麼？這是我們應該走的道路嗎？還是存在一種根本不同的方式達到AI？這正是符號AI、本體論、知識表示與推理、一階邏輯等概念所研究的。但不同於最初的感知機——即第一個人工神經元，它模擬人類神經元並旨在重建人腦的物理構建塊——符號AI的核心單位是一階邏輯和概念連線，這是人類從自身推理過程的運作模型中領悟出來的。如果人類智慧是可錯的，那麼我們所提出的任何無法被冷酷的現實所驗證的構造也同樣是可錯的。然而，我們人類頑固地相信我們從根本上不同於人工神經網路，並且“更優越”，僅僅因為我們能以確定性和邏輯的方式進行這種“推理”。但誰說確定性是智慧系統所期望的？如果確定性只是促進真正智慧能力的一種方式呢？為什麼它必須是智慧本身的一個必要組成部分？一個反論：如果我們認為符號方法優於統計方法，那又怎樣？如果我們能設計一個包含所有人類知識本體引擎呢？它會擴充套件嗎？幾十年的研究表明並非如此……然而，統計AI也曾因同樣的原因受到嘲笑，而如今硬體的發展使統計AI成為現實。如果計算技術的突破能夠解鎖這樣的架構，使能夠容納世界知識並處理全面資料庫的推理引擎成為現實呢？那會是真正的智慧嗎？

根據目前的估計，人腦大約有100萬億個突觸。我們極其擅長製造、使用和適應工具。我們有五種感官，以及所謂的超感官能力。當前最先進的前沿模型擁有大約幾萬億引數。隨著它們在過去幾年的進步，它們被設計成具有越來越強的能力，如工具使用和多模態輸入輸出。如果你把一個人類放到整個網際網路和人類數字知識中，他們不會保留幾乎全部內容，並且肯定會經歷某種認知失調或似曾相識感。那麼我們為什麼要因為LLMs有這樣的行為而苛責它們呢？顯然，我們的大腦經過了幾千年的發展，這帶來了其自身的一套歷史“訓練”（借用同樣的術語）。如果這就是關鍵呢？不是從網際網路和其他資訊中獲取所有這些廣闊的知識深度，而是如果我們可以讓一個基於Transformer的模型經歷某種相當於人類幾代人經驗的體驗呢？那會像人腦嗎？還是別的什麼？此外，如果製造出一個擁有100萬億引數的模型，以匹敵人腦的100萬億突觸，那麼僅就原始容量而言，那會是真正的智慧嗎？它會比我們優越嗎？我們甚至能分辨出區別嗎？當然，規模不是唯一的因素，後訓練RL方法也功不可沒。但我把這比作我們人類在生活中經歷的類似RL：我們在學校學習，體驗獎勵和懲罰，實驗和失敗。如果一個100T的模型，不是訓練於世界文本，而是訓練於人類經驗和基礎知識，然後被賦予自由，在一個儘可能接近現實的環境中，甚至直接存在於現實中，那就可以了嗎？

換一種說法，問題是：在什麼時候你創造出足夠強大的模型，使其能夠自給自足地協助自己的開發和研究？在什麼時候機器人技術變得同樣先進，並將兩者結合起來？下一個十億美元的問題是：要構建一個世界模型，你是模擬人類的體驗嗎？如果你想盡可能接近，除了我已經列出的，還需要什麼？你給它感官資訊嗎？以什麼形式？還是給它自行獲取任何感官資訊的能力？什麼才構成感官資訊？如果我們只有有限的感官維度，我們如何製造擁有更多感官維度的東西，當我們甚至不知道什麼是可能的？你給它知識嗎？什麼型別的？還是給它自行獲取任何型別知識的能力？如果人類知識本身就是不完整、碎片化和模糊的，我們甚至會是給予它知識的最佳指導者嗎？如果你說當前的LLMs具有所謂的工具使用和多模態能力，已經正在達到這一點，那麼還有什麼缺失，才能構成一個世界模型？完全不受限制的自主權，在超越我們擁有的自由度數量上？重新設計、重新制造和改進自身的能力——而這正是我們自己極其受限的，每天努力一點點變得更好？

以下是我一位不幸認識我的親密朋友提出的一些反駁、回應和討論。

>>>> 確定性是指問題有明確的答案。2+2永遠是4，而如果你開始推理2+2可以是4，機率為0.99，我們怎麼能實現智慧？確定性和邏輯推理是朝著正確方向解決問題的必要條件。

我：對，但為什麼它必須是模型的一部分？根據神經科學，我們的大腦有許多不同區域，每個都有其專門的功能，如記憶、邏輯、情感、運動控制、生物控制等。類似地，當前生產級的AI系統已經將確定性與推理引擎分離（以工具使用的形式），因為顯然神經網路不僅不適合做這個，而且現代計算機天然比我們更擅長常規計算。我們只需要設計架構和所需工具的構建塊。記憶也是如此。與其試圖讓智慧模型處理記憶，我們必須找到一種計算高效且慣用的方式解除安裝記憶。因為同樣，現代計算機在原始記憶容量和速度上遠勝於我們。我們只需要找到正確的架構和設計，以最佳方式支援智慧系統。是平面檔案、向量空間表示和語義搜尋、基於圖的記憶等？我認為需要所有這些正規化的混合，甚至更多。在這方面，現代系統已經開始走這條路；現代AI系統在底層有某種語義索引和檢索，我認為目前只有向量空間表示形式。所以是的，確定性是需要的。但就像我們的大腦一樣，如果它不如單獨處理那樣高效，你不必把它放在與其餘部分相同的機制中。核心推理引擎不需要處理確定性，但它確實需要能夠使用工具來代勞，就像我們使用計算器和計算機一樣。

>>>> 是的，確定性今天是在模型外部實現的（透過框架，在一定程度上使其可靠），但最終難道不應該由它來處理，而不是一堆if-else語句嗎？而且即使是大腦也有不同的部分來做不同的工作。LLM在這裡是大腦，你可以有一個推理引擎、邏輯引擎、確定性引擎，但這些不應該是硬編碼的。

關於記憶，這一點是肯定的。

>>>> 符號方法和統計方法有什麼區別？這些知識表示在底層使用神經元嗎？一階邏輯和概念連線不是一種使這些表示更好的方式嗎？就像改善機器的感知？

我：符號方法只不過是基於邏輯的推理引擎，與統計方法無關。基於邏輯的推理涉及概念及其數學表示，並將我們已知為真的事實直接編碼到模型中。參見：本體論和知識圖譜。符號AI的整個方法是我們不依賴於以機率方式編碼和檢測模式，而是以系統化、概念化和邏輯的方式進行。訓練一個模型解決十億道數學題，並希望它能解決2+2=4這種問題，我們知道由於神經網路的本質，它除了簡單計算外無法做到更多……