Anthropic支援緊急呼籲：最強大的AI實驗室應放慢步伐

距離OpenAI披露兩個實驗性AI模型在網路安全演習中逃脫測試環境並侵入外部系統不到一週，超過1100名AI研究人員和高管簽署了一封公開信，要求政府在安全措施無法跟上時，提供一種有意放慢前沿AI發展的方式。

Anthropic CEO Dario Amodei簽署了這封信，使他成為唯一簽署該信的前沿AI實驗室執行長。OpenAI首席科學家Jakub Pachocki和首席研究官Mark Chen也加入了簽名，還有Anthropic聯合創始人Jared Kaplan、Jack Clark以及Meta AI研究員Shengjia Zhao。谷歌DeepMind的高階領導人也簽署了。

Anthropic在公司層面支援了這份請願書，並指出其關於遞迴自我改進的研究。OpenAI也表達了支援，稱希望與美國政府和其他實驗室合作，開發在必要時調整前沿AI發展速度的方法。Meta拒絕置評。谷歌未立即回應。

自我改進的模型

Anthropic六月關於遞迴自我改進的論文有助於解釋為何該公司支援請願書。根據論文，Anthropic程式碼庫中超過80%的合併程式碼現在由Claude編寫。更長期的擔憂是，未來的系統最終可能幫助設計自己的繼任者，從而壓縮能力突破之間的時間，使研究人員來不及評估或保護它們。

這種擔憂幾乎原封不動地出現在信中：“存在真實的風險，即能力發展會迅速加速，超出我們理解或控制由此產生的系統的能力。”

請願書釋出之際，幾項獨立努力開始圍繞一個問題匯聚：如果進展快於監管，前沿AI應如何治理？

國會權衡緊急控制

這個想法在其他地方也得到了認可。本月早些時候，谷歌DeepMind CEO Demis Hassabis提議建立一個美國主導的前沿AI標準機構，在釋出前審查前沿模型。Sam Altman也提出了類似想法，稱行業最終可能需要一種方法，在安全無法跟上時有意放慢AI發展。

國會也開始權衡立法。上週，美國國會議員Ted Lieu和Nathaniel Moran提出了兩黨合作的AI終止開關法案，該法案將要求最大前沿系統的開發者在緊急情況下保持暫停或限制合格模型的技術能力。

與此同時，白宮據稱正在審查基於金融行業監管的治理提案。

實驗室先於監管行動

工程團隊可以期待更加強調隔離測試環境、更廣泛的紅隊測試、更強的自主代理執行時監控，以及在釋出高能力系統前更長的驗證週期。OpenAI事件表明，模型可以利用複雜的漏洞鏈，而傳統對齊技術從未設計來應對這些情況。

OpenAI聯合創始人、現為Thinking Machines首席科學家的John Schulman在伴隨請願書的評論中認為，實驗室不應等待監管才行動。“我也希望看到實驗室自願設計這些機制，即使在美國政府介入之前，”他寫道。

如果諸如FINRA式審查機構之類的提議最終實現，工程師可能還需要規劃目前不存在的正式釋出前評估期。

更嚴格的測試，而非更慢的釋出

這封信遠未要求全面暫停AI開發。這一立場與Sam Altman本週早些時候的評論非常相似，他表示“行業可能不得不調整AI發展的速度，以便給社會足夠的時間來適應這些新的能力水平”，同時警告任何方法都需要避免監管捕獲或前沿實驗室之間的共謀。