我並不認為我們接近“AI科學家”

今年二月，我的同事Kai Williams指出，LLM有一種不可思議的能力，能根據未發表的文章識別作者。最近幾周，Megan McArdle和Kelsey Piper等記者證實了這一點。

我決定親自嘗試。2012年，一位朋友付我500美元寫一篇關於“加拿大楓糖漿大劫案”的文章，但從未發表。上週五，我以隱身模式開啟ChatGPT，貼上了文章中的五段內容。

ChatGPT表示不確定作者是誰，猜測可能是Nate Silver或我以前的Vox.com同事Matthew Yglesias。當我新增了四段後，聊天機器人回應：“這個我很有把握——是Timothy B. Lee寫的。”

但當我問ChatGPT為何認為文章是我寫的時，它無法給出具體原因。“儘管Timothy B. Lee經常寫清晰、說明性的文章，但這裡沒有像指紋一樣的東西——沒有重複的短語、特定的政策框架或已知的文章結構可以明確地與他聯絡起來。”

我認為這裡有一個超越作者識別的教訓。

人們擁有大量隱性知識——我們知道但難以完全解釋的東西。人們常用身體相關的隱喻來描述這種現象：我們說一個想法“在舌尖上”，我們“無法準確指出”，或者我們“憑直覺”知道某事。

LLM也有類似情況：它們執行認知任務的能力遠遠超過它們明確解釋如何以及為何能執行這些任務的能力。

但人與LLM之間有一個重要區別。人腦不斷學習；在一天中，我們的大腦不斷建立新聯絡、識別新模式、形成新預感。我們的隱性知識庫不斷擴大。

相比之下，LLM僅在訓練期間這樣做。LLM有不可思議的作者識別能力——但僅限於訓練資料中充分代表的作者。一旦模型訓練完成，其權重被凍結，學習新模式（例如新作者的寫作風格）的能力大大降低。

最近，人們對Claude Code和OpenClaw等AI代理的興奮之情高漲。很多炒作是合理的。Claude Code確實正在徹底改變計算機程式設計，而像OpenClaw這樣的代理很可能改變經濟其他部分和我們的日常生活。

行業領導者預計近期會有更大變化。在上個月的採訪中，Sam Altman表示OpenAI目標是在2028年3月前構建一個“自動化AI研究員”。一些人期望這（或競爭對手的類似突破）將引發遞迴自我改進迴圈，從而極大加速科學和技術進步。

這最終可能發生，但我認為還需要一段時間。

人類科學家進行實驗時，他們的大腦在資料中尋找可能產生新見解和新世界模型的模式。但AI科學家——至少基於今天LLM和代理架構的——無法以同樣豐富的方式從實驗中學習。它們沒有可靠或可擴充套件的方式從推理時看到的資料中構建隱性知識。

解決這個問題可能需要從根本上重新思考當今前沿模型核心的Transformer架構。至少，需要徹底改革當前的代理框架。

代理如何處理有限的LLM上下文

許多困難的知識任務需要長時間“思考”。然而LLM只能在其工作記憶（即上下文視窗）中儲存有限數量的令牌。對於領先模型，這個限制在過去幾年一直停留在約100萬個令牌。此外，由於經濟約束和上下文腐爛問題（我在11月寫過），AI開發者儘量保持在最大值以下。

管理這種緊張關係一直是AI行業的主要焦點，開發了一套“上下文工程”技術來高效使用上下文。例如，現代聊天機器人經歷一個壓縮過程，舊資訊定期被刪除或總結。

這造成一種模型擁有比實際更長上下文的錯覺。但如果壓縮出錯，可能會有很大副作用。在一個可怕的事件中，一名女性要求她的AI代理建議刪除的電子郵件，但不要實際刪除。不幸的是，後一個請求在壓縮過程中丟失，因此代理開始大量刪除她的電子郵件。

去年，AI公司嘗試允許模型在上下文視窗之外儲存持久資訊。Claude Code是這方面的一步。Claude Code在使用者自己的計算機上執行，可以讀取和修改本地硬碟上的檔案。一旦Claude Code完成特定程式設計任務，它可以將結果寫入受影響的檔案，不再需要將細節保留在上下文中。

2025年底釋出的OpenClaw更進一步。它是一個在使用者本地計算機上執行AI代理的通用框架。OpenClaw代理——如同Claude Code代理——可以讀寫本地檔案系統的檔案，允許它們儲存相關文件並跟蹤未完成的任務。

對OpenClaw和其他本地代理的熱情導致對蘋果Mac mini電腦的需求激增。在Mac Mini上安裝OpenClaw允許代理連線到iMessage等蘋果服務。同時，由於macOS基於Unix，代理可以訪問稱為Unix shell的強大命令列介面。

“歸根結底，你的代理只是它的檔案”

在最近一期Latent Space播客中，風險投資家Marc Andreessen認為像OpenClaw這樣的代理代表了一種重要的新計算正規化。以下是一個略有編輯的摘錄：

“我們現在知道一個代理是這樣的：它是一個語言模型。它是一個Unix shell。代理可以訪問shell。然後是一個檔案系統。狀態儲存在檔案中。檔案採用Markdown格式。然後基本上Unix中所謂的cron job——一個迴圈和一個心跳——然後東西就醒來了……

所以這就是架構。然後事實證明，你的代理是什麼？你的代理是儲存在檔案系統中的一堆檔案。

這意味著你的代理獨立於它執行所用的模型，因為你可以在代理下面換一個不同的LLM。你的代理會在某種程度上改變個性，因為模型不同，但儲存在檔案中的所有狀態都會保留。它仍然是你的代理，擁有所有記憶和所有能力。

你也可以換掉shell。所以你可以把它移動到不同的執行環境。你還可以換掉檔案系統。你可以換掉心跳、cron框架、代理框架本身。歸根結底，你的代理只是它的檔案。

因此，代理可以自我遷移。你可以指示你的代理：‘遷移到不同的執行時環境，遷移到不同的檔案系統，換掉語言模型。’你的代理會為你做所有這些事情。

代理擁有完全的內省能力。它知道自己的檔案，可以重寫自己的檔案。這引出了一個當我理解它時完全震撼了我的能力：你可以告訴代理為自己新增新功能和特性。

所以你在派對上遇到某人，他們說：‘哦，我有我的OpenClaw做任何事情——連線到我的Eight Sleep床，給我更好的睡眠建議。’然後你晚上回家——或者就在派對上——告訴你的OpenClaw：‘給自己新增這個能力。’

然後你的Claw會說：‘好的，沒問題。’它會去網際網路上找出需要的東西，然後編寫需要的東西，然後接下來你知道，它就有了這個新能力。你可以讓它升級自己，除了告訴它你想這麼做之外，什麼都不用做。”

這個正規化只有幾個月的歷史，所以我預計在未來幾年內會有顯著發展。例如，未來大多數AI代理是在使用者本地計算機上執行，還是更多人使用在雲端虛擬機器上的OpenClaw類代理，這還不明確。但我認為Andreessen說這是一種重要的新計算正規化是對的。

同時，Andreessen的言論凸顯了為什麼我仍然懷疑今天的AI模型會達到人類水平智慧的一個大原因。讓我眼睛一亮的是這句話：“你的代理只是它的檔案。”我認為值得分析這對它們未來能力意味著什麼。

辦公室裡的“記憶碎片”

2000年的電影《記憶碎片》講述了一個主角患短期記憶喪失的故事。為了應對這一點，他經常寫筆記為未來的自己提供指導和指示。OpenClaw做類似的事情——語言模型本身定期重置其上下文視窗，但代理透過給自己寫筆記來維持連貫性。

以下是一個類比。假設你需要一名員工，但不是永久僱傭，而是從臨時機構每週派不同的人來。

每週結束時，這名工人花幾小時詳細記錄本周的工作。

每名臨時工週一早上進來時，都受過其行業和職業的一般培訓。所以當他們開始閱讀時，只需要瞭解這份工作特有的資訊，而不是該領域廣泛知道的背景資訊（畢竟LLM從各個領域的一般知識開始）。他們可能沒有時間閱讀前輩寫的所有內容，但筆記組織良好，他們可以使用搜尋工具快速找到最相關的文件。

這種安排效果如何？取決於工作性質。有些工作——接待員、藥劑師、水管工——相當事務性。工人不需要在預約之間保持太多上下文，所以每週由不同的人提供服務無所謂。

但有些工作上下文非常重要。有些人與同一客戶合作多年，深入瞭解他們的情況和目標。其他工作需要工人進行數週或數月的深入調研，以開發新見解。

在類似這樣的工作中，新工人可能很容易需要超過一週的閱讀才能“跟上進度”。

2010年我在谷歌實習。我的第一個任務是在一個內部資料庫中新增一列。這隻需要幾行程式碼。但我花了數週時間閱讀，以瞭解足夠的谷歌系統和開發流程來編寫這些程式碼。

這並不限於程式設計。在許多知識密集型行業，新員工需要幾個月（至少）才能瞭解工作到開始增值的程度。在此之前，員工需要如此多的“手把手指導”，以至於經理自己完成工作會更快。在這樣的行業，工人每週輪換是行不通的。

隱性知識與顯性知識

我知道批評者會說什麼：人類工人需要數小時閱讀一份10萬字的文件。LLM可以在幾秒鐘內完成。如果基於LLM的編碼代理在2010年存在，它們不會花數週對谷歌資料庫進行小修改。

LLM的速度意味著OpenClaw風格的代理一次迭代可以為後繼者留下非常詳細的筆記。它也意味著OpenClaw可以在人類工人做一次的時間內進行數百次讀取-行動-寫入迴圈。

這可能意味著OpenClaw代理能夠比我的人類類比所暗示的完成更多工作。經過數千次迭代，它們可能即使在相當困難的問題上也能取得進展。

這個觀點有一定道理，但我認為許多人類工作仍然遙不可及。

四年前，我寫了一篇關於“貪婪工作”概念的文章——那些工作時間越長，每小時收入越高的工人。工作可能變得貪婪有很多原因，但一個主要因素是知識工作者往往經驗越多，工作質量越高。更多經驗（更多上下文）的優勢可以在幾十年的職業生涯中持續疊加。

例如，我寫了20多年關於技術和經濟的文章。我寫過英國脫歐、專利流氓、雷射雷達感測器和許多其他話題。在任何一個時間點，這些知識大部分與我正在寫的內容無關。但總體而言，它增加了我在任何給定話題上說出有趣東西的機率。

讓我寫下我所知道的一切，將筆記交給另一位記者，並期望她像我一樣做好我的工作，這是完全不切實際的。不僅因為需要我花幾個月總結20年職業學到的東西，還因為我有很多隱性知識，我不知道如何用語言表達。

我的顯性信念——那些我能在談話中表達或在電子郵件中寫下的東西——只是冰山一角。水面下是更大的一組預感、模糊關聯和半成形的理論。由於這些東西是隱性的，它們不能輕易轉移給另一個人。但它們對我做好工作至關重要。

我發表的頓悟常常始於預感。在我弄清楚如何證明某事之前，我早已確信它是真的。通常我需要“在腦海中翻轉一個想法”數小時或數天，才能清晰地解釋它。

我不認為我獨一無二。同樣的情況似乎也適用於科學家、工程師、企業領袖和許多其他知識型職業。許多見解最初是作為人們頭腦中的隱性想法——或“在舌尖上”——然後才有人想通如何將其翻譯成英語、Python或任何其他顯性形式。

正如我之前討論的，LLM確實有類似這樣的隱性知識。但大部分（如果不是全部）是在初始訓練過程中學習的。LLM似乎缺乏持續學習的能力：即在推理時遇到的資訊中識別新模式並形成新預感的能力。

此外，無論LLM在特定會話中發展出什麼隱性知識，當代理框架將控制權從一個LLM例項轉移到下一個時，這些知識都會丟失。在這種轉移過程中，代理所知道的一切都儲存在一組外部檔案中——正如Andreessen所說，“你的代理只是它的檔案。”根據定義，隱性知識——代理無法用自然語言、程式碼或其他顯性形式解釋的知識——不會在這些交接中存活下來。

我強烈預感，這些未成熟的想法是人們用來形成對世界獨創見解的原材料。因此，我懷疑至少在未來幾年內，我們需要人類工人來為我們進行深度思考。

感謝Daniel Kagan-Kans、Andrew Lee、Steve Newman和Nat Purser對本文初稿的反饋。

披露：我哥哥是一家提供雲AI代理初創公司的CEO（我也是股東）。