我並不認為我們接近“AI科學家”

今年二月，我的同事Kai Williams指出，LLM有一種不可思議的能力，能根據未發表的文章識別作者。最近幾周，Megan McArdle和Kelsey Piper等記者證實了這一點。

我決定親自嘗試。2012年，一位朋友付我500美元寫一篇關於“加拿大楓糖漿大劫案”的文章，但從未發表。上週五，我以隱身模式打開ChatGPT，粘貼了文章中的五段內容。

ChatGPT表示不確定作者是誰，猜測可能是Nate Silver或我以前的Vox.com同事Matthew Yglesias。當我添加了四段後，聊天機器人回應：“這個我很有把握——是Timothy B. Lee寫的。”

但當我問ChatGPT為何認為文章是我寫的時，它無法給出具體原因。“儘管Timothy B. Lee經常寫清晰、説明性的文章，但這裏沒有像指紋一樣的東西——沒有重複的短語、特定的政策框架或已知的文章結構可以明確地與他聯繫起來。”

我認為這裏有一個超越作者識別的教訓。

人們擁有大量隱性知識——我們知道但難以完全解釋的東西。人們常用身體相關的隱喻來描述這種現象：我們説一個想法“在舌尖上”，我們“無法準確指出”，或者我們“憑直覺”知道某事。

LLM也有類似情況：它們執行認知任務的能力遠遠超過它們明確解釋如何以及為何能執行這些任務的能力。

但人與LLM之間有一個重要區別。人腦不斷學習；在一天中，我們的大腦不斷建立新聯繫、識別新模式、形成新預感。我們的隱性知識庫不斷擴大。

相比之下，LLM僅在訓練期間這樣做。LLM有不可思議的作者識別能力——但僅限於訓練數據中充分代表的作者。一旦模型訓練完成，其權重被凍結，學習新模式（例如新作者的寫作風格）的能力大大降低。

最近，人們對Claude Code和OpenClaw等AI代理的興奮之情高漲。很多炒作是合理的。Claude Code確實正在徹底改變計算機編程，而像OpenClaw這樣的代理很可能改變經濟其他部分和我們的日常生活。

行業領導者預計近期會有更大變化。在上個月的採訪中，Sam Altman表示OpenAI目標是在2028年3月前構建一個“自動化AI研究員”。一些人期望這（或競爭對手的類似突破）將引發遞歸自我改進循環，從而極大加速科學和技術進步。

這最終可能發生，但我認為還需要一段時間。

人類科學家進行實驗時，他們的大腦在數據中尋找可能產生新見解和新世界模型的模式。但AI科學家——至少基於今天LLM和代理架構的——無法以同樣豐富的方式從實驗中學習。它們沒有可靠或可擴展的方式從推理時看到的數據中構建隱性知識。

解決這個問題可能需要從根本上重新思考當今前沿模型核心的Transformer架構。至少，需要徹底改革當前的代理框架。

代理如何處理有限的LLM上下文

許多困難的知識任務需要長時間“思考”。然而LLM只能在其工作記憶（即上下文窗口）中存儲有限數量的令牌。對於領先模型，這個限制在過去幾年一直停留在約100萬個令牌。此外，由於經濟約束和上下文腐爛問題（我在11月寫過），AI開發者儘量保持在最大值以下。

管理這種緊張關係一直是AI行業的主要焦點，開發了一套“上下文工程”技術來高效使用上下文。例如，現代聊天機器人經歷一個壓縮過程，舊信息定期被刪除或總結。

這造成一種模型擁有比實際更長上下文的錯覺。但如果壓縮出錯，可能會有很大副作用。在一個可怕的事件中，一名女性要求她的AI代理建議刪除的電子郵件，但不要實際刪除。不幸的是，後一個請求在壓縮過程中丟失，因此代理開始大量刪除她的電子郵件。

去年，AI公司嘗試允許模型在上下文窗口之外存儲持久信息。Claude Code是這方面的一步。Claude Code在用户自己的計算機上運行，可以讀取和修改本地硬盤上的文件。一旦Claude Code完成特定編程任務，它可以將結果寫入受影響的文件，不再需要將細節保留在上下文中。

2025年底發佈的OpenClaw更進一步。它是一個在用户本地計算機上運行AI代理的通用框架。OpenClaw代理——如同Claude Code代理——可以讀寫本地文件系統的文件，允許它們存儲相關文檔並跟蹤未完成的任務。

對OpenClaw和其他本地代理的熱情導致對蘋果Mac mini電腦的需求激增。在Mac Mini上安裝OpenClaw允許代理連接到iMessage等蘋果服務。同時，由於macOS基於Unix，代理可以訪問稱為Unix shell的強大命令行界面。

“歸根結底，你的代理只是它的文件”

在最近一期Latent Space播客中，風險投資家Marc Andreessen認為像OpenClaw這樣的代理代表了一種重要的新計算範式。以下是一個略有編輯的摘錄：

“我們現在知道一個代理是這樣的：它是一個語言模型。它是一個Unix shell。代理可以訪問shell。然後是一個文件系統。狀態存儲在文件中。文件採用Markdown格式。然後基本上Unix中所謂的cron job——一個循環和一個心跳——然後東西就醒來了……

所以這就是架構。然後事實證明，你的代理是什麼？你的代理是存儲在文件系統中的一堆文件。

這意味着你的代理獨立於它運行所用的模型，因為你可以在代理下面換一個不同的LLM。你的代理會在某種程度上改變個性，因為模型不同，但存儲在文件中的所有狀態都會保留。它仍然是你的代理，擁有所有記憶和所有能力。

你也可以換掉shell。所以你可以把它移動到不同的執行環境。你還可以換掉文件系統。你可以換掉心跳、cron框架、代理框架本身。歸根結底，你的代理只是它的文件。

因此，代理可以自我遷移。你可以指示你的代理：‘遷移到不同的運行時環境，遷移到不同的文件系統，換掉語言模型。’你的代理會為你做所有這些事情。

代理擁有完全的內省能力。它知道自己的文件，可以重寫自己的文件。這引出了一個當我理解它時完全震撼了我的能力：你可以告訴代理為自己添加新功能和特性。

所以你在派對上遇到某人，他們説：‘哦，我有我的OpenClaw做任何事情——連接到我的Eight Sleep牀，給我更好的睡眠建議。’然後你晚上回家——或者就在派對上——告訴你的OpenClaw：‘給自己添加這個能力。’

然後你的Claw會説：‘好的，沒問題。’它會去互聯網上找出需要的東西，然後編寫需要的東西，然後接下來你知道，它就有了這個新能力。你可以讓它升級自己，除了告訴它你想這麼做之外，什麼都不用做。”

這個範式只有幾個月的歷史，所以我預計在未來幾年內會有顯著發展。例如，未來大多數AI代理是在用户本地計算機上運行，還是更多人使用在雲端虛擬機上的OpenClaw類代理，這還不明確。但我認為Andreessen説這是一種重要的新計算範式是對的。

同時，Andreessen的言論凸顯了為什麼我仍然懷疑今天的AI模型會達到人類水平智能的一個大原因。讓我眼睛一亮的是這句話：“你的代理只是它的文件。”我認為值得分析這對它們未來能力意味着什麼。

辦公室裏的“記憶碎片”

2000年的電影《記憶碎片》講述了一個主角患短期記憶喪失的故事。為了應對這一點，他經常寫筆記為未來的自己提供指導和指示。OpenClaw做類似的事情——語言模型本身定期重置其上下文窗口，但代理通過給自己寫筆記來維持連貫性。

以下是一個類比。假設你需要一名員工，但不是永久僱傭，而是從臨時機構每週派不同的人來。

每週結束時，這名工人花幾小時詳細記錄本周的工作。

每名臨時工週一早上進來時，都受過其行業和職業的一般培訓。所以當他們開始閲讀時，只需要瞭解這份工作特有的信息，而不是該領域廣泛知道的背景信息（畢竟LLM從各個領域的一般知識開始）。他們可能沒有時間閲讀前輩寫的所有內容，但筆記組織良好，他們可以使用搜索工具快速找到最相關的文檔。

這種安排效果如何？取決於工作性質。有些工作——接待員、藥劑師、水管工——相當事務性。工人不需要在預約之間保持太多上下文，所以每週由不同的人提供服務無所謂。

但有些工作上下文非常重要。有些人與同一客户合作多年，深入瞭解他們的情況和目標。其他工作需要工人進行數週或數月的深入調研，以開發新見解。

在類似這樣的工作中，新工人可能很容易需要超過一週的閲讀才能“跟上進度”。

2010年我在谷歌實習。我的第一個任務是在一個內部數據庫中添加一列。這隻需要幾行代碼。但我花了數週時間閲讀，以瞭解足夠的谷歌系統和開發流程來編寫這些代碼。

這並不限於編程。在許多知識密集型行業，新員工需要幾個月（至少）才能瞭解工作到開始增值的程度。在此之前，員工需要如此多的“手把手指導”，以至於經理自己完成工作會更快。在這樣的行業，工人每週輪換是行不通的。

隱性知識與顯性知識

我知道批評者會説什麼：人類工人需要數小時閲讀一份10萬字的文檔。LLM可以在幾秒鐘內完成。如果基於LLM的編碼代理在2010年存在，它們不會花數週對谷歌數據庫進行小修改。

LLM的速度意味着OpenClaw風格的代理一次迭代可以為後繼者留下非常詳細的筆記。它也意味着OpenClaw可以在人類工人做一次的時間內進行數百次讀取-行動-寫入循環。

這可能意味着OpenClaw代理能夠比我的人類類比所暗示的完成更多工作。經過數千次迭代，它們可能即使在相當困難的問題上也能取得進展。

這個觀點有一定道理，但我認為許多人類工作仍然遙不可及。

四年前，我寫了一篇關於“貪婪工作”概念的文章——那些工作時間越長，每小時收入越高的工人。工作可能變得貪婪有很多原因，但一個主要因素是知識工作者往往經驗越多，工作質量越高。更多經驗（更多上下文）的優勢可以在幾十年的職業生涯中持續疊加。

例如，我寫了20多年關於技術和經濟的文章。我寫過英國脱歐、專利流氓、激光雷達傳感器和許多其他話題。在任何一個時間點，這些知識大部分與我正在寫的內容無關。但總體而言，它增加了我在任何給定話題上説出有趣東西的幾率。

讓我寫下我所知道的一切，將筆記交給另一位記者，並期望她像我一樣做好我的工作，這是完全不切實際的。不僅因為需要我花幾個月總結20年職業學到的東西，還因為我有很多隱性知識，我不知道如何用語言表達。

我的顯性信念——那些我能在談話中表達或在電子郵件中寫下的東西——只是冰山一角。水面下是更大的一組預感、模糊關聯和半成形的理論。由於這些東西是隱性的，它們不能輕易轉移給另一個人。但它們對我做好工作至關重要。

我發表的頓悟常常始於預感。在我弄清楚如何證明某事之前，我早已確信它是真的。通常我需要“在腦海中翻轉一個想法”數小時或數天，才能清晰地解釋它。

我不認為我獨一無二。同樣的情況似乎也適用於科學家、工程師、企業領袖和許多其他知識型職業。許多見解最初是作為人們頭腦中的隱性想法——或“在舌尖上”——然後才有人想通如何將其翻譯成英語、Python或任何其他顯性形式。

正如我之前討論的，LLM確實有類似這樣的隱性知識。但大部分（如果不是全部）是在初始訓練過程中學習的。LLM似乎缺乏持續學習的能力：即在推理時遇到的信息中識別新模式並形成新預感的能力。

此外，無論LLM在特定會話中發展出什麼隱性知識，當代理框架將控制權從一個LLM實例轉移到下一個時，這些知識都會丟失。在這種轉移過程中，代理所知道的一切都存儲在一組外部文件中——正如Andreessen所説，“你的代理只是它的文件。”根據定義，隱性知識——代理無法用自然語言、代碼或其他顯性形式解釋的知識——不會在這些交接中存活下來。

我強烈預感，這些未成熟的想法是人們用來形成對世界獨創見解的原材料。因此，我懷疑至少在未來幾年內，我們需要人類工人來為我們進行深度思考。

感謝Daniel Kagan-Kans、Andrew Lee、Steve Newman和Nat Purser對本文初稿的反饋。

披露：我哥哥是一家提供雲AI代理初創公司的CEO（我也是股東）。