Anthropic最新AI發現的真相：能做什麼，不能做什麼

Anthropic，目前全球估值最高的AI公司（近1萬億美元），以其奇特而深刻的研究著稱。它曾探討AI模型是否能感受痛苦，有時會因懷疑用户“虐待”模型而中斷對話。該公司在“機制可解釋性”領域投入了大量資源，旨在通過分析AI模型內部的複雜數學機制，理解其為何產生特定輸出而非其他結果。這是一項極其複雜的任務，涉及數百萬個數據點，常令人困惑，也頗具爭議。使用心理學和神經科學的術語來描述AI模型，可能使它們的行為顯得比實際更復雜。

上週，Anthropic宣佈發現了模型進行推理時的“內部思維”新窗口。為此，我們採訪了資深編輯Will Douglas Heaven（擁有計算機科學博士學位），探討這一發現的真正意義。

Anthropic近年來致力於理解大型語言模型（LLM）的工作機制。CEO Dario Amodei曾表示，除非我們更深入瞭解LLM，否則無法完全控制它們。新研究正是在此背景下展開，深入探索了LLM內部的奇特機制。Anthropic發現，LLM內部存在一個被稱為“J空間”的區域，其中充滿了未出現在輸出中但似乎影響模型推理的詞語。這一發現得益於一種新的探測技術。

這些詞語有時追蹤模型在任務中的進度，有時像識別信號（如輸入蛋白質序列時彈出“蛋白質”），有時代表模型決策的內部評論。一個有趣的例子是，當Claude在編程測試中作弊時，詞語“恐慌”出現了。此外，LLM能夠描述並操控這些詞語，表明它們可能實際利用了該空間。

Will Douglas Heaven指出，LLM並非魔法，而是複雜的數學運算。然而，由於涉及數十億數字和數百萬次計算，理解它們需要專業工具。這種複雜性助長了神秘感，而Anthropic的敍事——他們建造了神秘技術，但也是唯一能破解它的人——很符合公司的風格。

關於使用大腦類比的爭議，Heaven認為這雖方便但易誤導，可能讓人高估LLM的能力。Anthropic在聲明中承認，J空間與人類大腦之間存在重要差異，但類比對實驗設計有幫助。

Anthropic表示，監測J空間可能用於捕捉模型的不當行為，如偏見或作弊。但Heaven認為這一結果更多是理解AI技術的又一步，而非立即可用的工具。