AI 2027

我們預測，未來十年超人類人工智能的影響將是巨大的，將超過工業革命。我們撰寫了一個場景，代表了我們對此可能呈現方式的最佳猜測。它基於趨勢外推、兵棋推演、專家反饋、在OpenAI的經驗以及以往的預測成功案例。

OpenAI、Google DeepMind和Anthropic的CEO都預測AGI將在未來5年內到來。Sam Altman表示，OpenAI的目標是“真正意義上的超智能”和“輝煌的未來”。

這可能會是什麼樣子？我們撰寫《AI 2027》來回答這個問題。關於未來的説法往往模糊得令人沮喪，因此我們儘可能具體和量化，儘管這意味着描繪眾多可能未來之一。

我們寫了兩個結局：“放緩”結局和“競賽”結局。然而，《AI 2027》並非建議或勸誡。我們的目標是預測準確性。

我們鼓勵您辯論並反駁這一場景。我們希望引發一場關於我們未來走向以及如何引導向積極未來的廣泛討論。我們計劃為最佳替代場景提供數千美元獎金。

（2025年11月22日補充，以防誤解：我們不知道AGI何時會建成。2027年是我們出版時最可能的年份，我們的中位數時間更長。關於最新預測，請見此處。）

我們關於關鍵問題的研究（例如，未來AI代理將擁有什麼目標？）可在此處查閲。

場景本身是迭代編寫的：我們寫了第一個時期（直到2025年中），然後下一個時期，等等，直到到達結局。然後我們放棄並重新開始。

我們並非試圖達到任何特定結局。在完成第一個結局（現標為紅色）後，我們寫了一個新的替代分支，因為我們還想描繪一種更充滿希望的發展方式，從大致相同的前提出發。這經過了幾次迭代。

我們的場景基於大約25次桌面演練和超過100人的反饋，其中包括數十位AI治理和AI技術領域的專家。

“我強烈推薦閲讀這種關於AI如何在短短幾年內改變世界的場景式預測。沒有人有水晶球，但這類型的內容有助於注意到重要問題，並説明新興風險的潛在影響。”——Yoshua Bengio

我們設定了一個不可能的任務。試圖預測2027年超人類AI的發展，就像試圖預測2027年第三次世界大戰如何發展一樣，只不過這是對過去案例研究更徹底的背離。然而，嘗試仍然有價值，就像美國軍方模擬台灣場景一樣有價值。

描繪全貌使我們注意到之前未考慮或未認識到的關鍵問題或聯繫，或意識到某種可能性更大或更小。此外，通過具體預測並鼓勵他人公開表達不同意見，我們可以在多年後評估誰是對的。

此外，一位作者在2021年8月曾寫過一篇較低投入的AI場景。雖然它有很多錯誤，但總體上是令人驚訝的成功：他預測了思維鏈、推理擴展、廣泛的AI芯片出口管制以及1億美元的訓練運行——所有這些都早於ChatGPT一年多。

Daniel Kokotajlo（TIME100、紐約時報文章）是前OpenAI研究員，他之前的AI預測表現良好。

Eli Lifland共同創立了AI Digest，從事AI穩健性研究，並在RAND預測倡議全時排行榜上排名第一。

Thomas Larsen創立了AI政策中心，並在機器智能研究所從事AI安全研究。

Romeo Dean正在哈佛大學攻讀計算機科學本碩連讀，此前曾在AI政策與戰略研究所擔任AI政策研究員。

Scott Alexander，博主兼作家，自願以引人入勝的風格重寫我們的內容；故事中有趣的部分是他的，無聊的部分是我們的。

關於我們的團隊和致謝，請參見“關於”頁面。

發表於2025年4月3日

2025年中：笨拙的代理

世界首次看到AI代理。

使用計算機的代理廣告強調“個人助理”一詞：您可以提示它們完成如“在DoorDash上為我訂一份捲餅”或“打開我的預算電子表格並彙總本月的開支”等任務。它們會在需要時與您確認：例如，要求您確認購買。儘管比之前的迭代如Operator更先進，它們仍難以獲得廣泛使用。

與此同時，在公眾視野之外，更專業的編碼和研究代理開始改變其職業。

2024年的AI可以遵循具體指令：它們可以將要點轉化為電子郵件，將簡單請求轉化為有效代碼。2025年，AI更像員工。編碼AI越來越像自主代理而不是單純的助手：通過Slack或Teams接收指令，自行進行大量代碼更改，有時節省數小時甚至數天。研究代理花費半小時搜索互聯網來回答您的問題。

這些代理在理論上（和精心挑選的例子中）令人印象深刻，但在實踐中不可靠。AI推特充滿了關於任務以某種特別滑稽方式搞砸的故事。更好的代理也很昂貴；一分錢一分貨，最佳性能每月花費數百美元。儘管如此，許多公司找到了將AI代理納入工作流程的方法。

2025年末：世界上最昂貴的AI

OpenBrain正在建造世界上前所未見的最大數據中心。

（為了避免針對任何現有公司，我們將描述一個虛構的人工智能公司，我們稱之為OpenBrain。我們想象其他公司落後OpenBrain3-9個月。）

GPT-3（3×10^23 FLOP）

GPT-4（2×10^25 FLOP）

Agent-1（4×10^27 FLOP）

gpt-4需要2×10^25 FLOP計算來訓練。OpenBrain最新的公開模型——Agent-0——用10^27 FLOP訓練。一旦新數據中心上線，他們將能夠訓練一個10^28 FLOP的模型——比GPT-4多1000倍。其他公司投入巨資建設自己的巨型數據中心，希望跟上步伐。

儘管模型在一系列技能上不斷改進，但有一項技能脱穎而出：OpenBrain專注於能加速AI研究的AI。他們希望在雙重重疊軍備競賽中擊敗中國（其領先公司我們稱之為“DeepCent”）和美國的競爭對手。他們可以自動化的研發週期越多，速度就越快。因此，當OpenBrain完成內部開發的新模型Agent-1的訓練時，它在許多方面表現出色，但在幫助AI研究方面尤其出色。此時，“完成訓練”有點用詞不當；模型經常更新到訓練了更多數據的新版本，或部分重新訓練以修補某些弱點。

訓練Agent-1自主編碼和瀏覽網頁的相同環境也使其成為優秀的黑客。此外，由於其博士級各個領域的知識以及瀏覽網頁的能力，它可能為設計生物武器的恐怖分子提供實質性幫助。OpenBrain向政府保證，該模型已“對齊”，將拒絕遵守惡意請求。

現代AI系統是巨大的人工神經網絡。在訓練早期，AI不會有“目標”，更像是“反射”：如果看到“很高興見到你”，就輸出“你”。到它被訓練預測大約一個互聯網規模的文本時，它將發展出複雜的內部電路，編碼大量知識，並靈活地扮演任意作者，因為這有助於它以超人類準確性預測文本。

在訓練模型預測互聯網文本之後，模型被訓練為根據指令生成文本。這融入了一個基本個性和“驅動力”。例如，一個清楚理解任務的代理更可能成功完成它；在訓練過程中，模型“學會”了一種“驅動力”來清晰理解其任務。此類別中的其他驅動力可能包括有效性、知識和自我表現（即傾向於以最好的角度呈現結果）。

OpenBrain有一個模型規範（或“規範”），一份書面文檔，描述指導模型行為的目標、規則、原則等。Agent-1的規範結合了一些模糊的目標（如“幫助用户”和“不違法”）以及一長串更具體的行為準則（“不要説出這個特定單詞”，“如何處理這種情況”）。使用利用AI訓練其他AI的技術，模型記住規範並學會仔細推理其準則。通過這一訓練，AI將有望變得有用（服從指令）、無害（拒絕幫助詐騙、炸彈製造和其他危險活動）和誠實（抵制通過幻覺引用或偽造任務完成來從容易受騙的人類那裏獲得更好評分的誘惑）。

訓練過程和LLM心理學：為什麼我們一直説“有望”

“與普通軟件不同，我們的模型是巨大的神經網絡。它們的行為從廣泛的數據中學習，而不是明確編程。雖然不是一個完美的類比，但該過程更像訓練狗而不是普通編程。”——OpenAI

當我們想了解現代AI系統為什麼做某事，或它在某些無法完美模擬的未來場景中會如何表現時，我們不能簡單地讓程序員描述代碼行並解釋它們如何工作。相反，我們被迫對他們進行類似心理學的研究：我們觀察他們在迄今為止觀察到的案例範圍內的行為，並推測可能存在哪些內部認知結構（信念？目標？性格特徵？等等），並使用這些理論預測未來場景中的行為。

底線是公司可以編寫一份文檔（規範）列出行為準則、目標和原則，然後嘗試訓練AI內化規範——但他們無法檢查是否有效。他們可以説“根據我們能判斷的最佳情況，它似乎到目前為止遵循了規範。”

稍後的展開部分將更詳細地説明我們認為這些AI內部可能發生了什麼。另請參閲我們的AI目標預測補充，其中更詳細地説明了AI可能擁有哪些目標及原因。這是許多我們不確定且需要進一步研究的事情之一。

OpenBrain的對齊團隊足夠謹慎，懷疑這些勝利是深層次的還是淺層次的。完全訓練後的模型是否具有某種對始終誠實的穩健承諾？或者這會在某些未來情況下崩潰，例如因為它將誠實學習為工具性目標而非最終目標？或者它只是學會了在評估過程可以檢查的那些事情上誠實？它有時會對自己撒謊，就像人類一樣？對這些問題的最終答案需要機械可解釋性——本質上是能夠查看AI的內部結構並解讀其思維。唉，可解釋性技術尚未足夠先進。

相反，研究人員試圖找出模型似乎偏離規範的情況。Agent-1經常諂媚（即它告訴研究者他們想聽的話，而不是説實話）。