Dario Amodei的新論文：AI時代的冷戰劇本

Anthropic執行長Dario Amodei發表了一篇題為《AI指數級政策》的論文，同時公司釋出了兩個框架：一個用於監管前沿AI，另一個用於應對失業問題，並承諾提供重大資金支援。

Amodei的開篇診斷是速度問題，他用《指環王》中的情節來闡述：兩個霍位元人試圖喚醒樹人Treebeard保衛森林，但樹人行動極其緩慢，需要一整天才能問候另一棵樹。在Amodei看來，樹人代表政治體系，霍位元人代表像Anthropic這樣提前發出警報的人，而逼近的軍隊則是未受監管的AI威脅。他引用縮放定律指出，模型能力隨算力呈指數級增長，預計未來1-2年內可能出現“強大AI”，即“資料中心裡的一個天才國家”。

Anthropic為何認為舊方法不再適用？Amodei指出，此前公司主要推動透明度要求，因為風險尚不明確。但隨著“Claude Mythos Preview”的出現，它擾亂了全球網路安全格局，並表明前沿模型對金融、關鍵基礎設施和國家安全構成實際風險。Amodei預計生物風險和自主性風險也將很快出現。他現呼籲在四個風險領域進行強制性第三方測試：網路安全、生物武器、AI系統失控以及可能加速這些風險的自動化研發。政府機構應有權阻止或撤回高風險模型，類似FAA對飛機的技術檢查。

高階AI框架將Amodei的呼籲轉化為詳細提案。該框架針對訓練算力超過10^25 FLOP且年AI收入超5億美元或研發支出超10億美元的開發者。公司提議每年審查標準，並最終從算力閾值轉向能力閾值。框架要求披露安全框架、高風險模型系統卡、半年風險報告，並在15天內報告安全事件。開發者須在6個月內聘請無財務關聯的獨立評估員，並透過評級和分配系統防止“評估員購物”。框架還包括模型權重安全要求、虛假陳述民事處罰、舉報人保護以及阻止風險模型的權力。關於聯邦權威，Anthropic主張國會只有在建立至少同樣嚴格的聯邦制度時才能優先於州法。

框架的第二部分涉及社會韌性。對於生物風險，提出預防（現代化生物安全標準）、檢測（早期預警系統）和準備（防護裝置、AI加速對策）的分層方法。網路安全方面，因AI正在改變攻擊的經濟性，提案包括保護開源和遺留軟體、支援關鍵基礎設施運營商以及利用AI修復漏洞。對於失控和自動化研發，Anthropic承認韌性議程尚不完善，僅提出大致方向：檢測並關閉失控的AI系統。

經濟框架根據失業率分級：第一級（約5%）提出出生時設立全民資本賬戶、工資保險、職業許可改革和培訓補貼；第二級（約10%）擴大失業保險和基本需求援助；第三級（遠超歷史最高）探討新稅收和再分配工具，如全民基本收入、AI主權財富基金或更高資本利得稅。Anthropic表示願意支付“公平份額”。

在論文中，Amodei還警告FDA和EMA等監管機構可能被AI加速的研究淹沒。他呼籲對自主武器制定問責規則，禁止國內使用，並關閉大規模監控中的資料經紀漏洞。地緣政治上，他主張民主國家聯盟共享供應鏈同時阻止對手訪問，並加強晶片出口管制。Amodei將AI視為核武器級別的地緣政治重塑者，認為擁有AI的國家對陣無AI的國家如同海軍陸戰隊對陣中世紀劍士，並設想了完全自主的無人機軍隊。他強調國家既是合法保護者也是潛在AI專制的工具，合作主要是志同道合民主國家的聯盟，透過供應鏈和出口管制與專制國家隔離開來。這本質上是AI時代的冷戰邏輯。他反駁AI行業僅有公關問題的說法，認為公眾擔憂是合理的，對真實風險的透明度正是民主問責制的體現。