末日AI？

在生成式人工智能領域，我們正經歷一個非常特殊的時刻。前沿模型，包括即將開放權重的模型，正變得越來越強大，能夠持續執行數天的任務，消耗數百萬個代幣。然而，AI領域的高期望並非新鮮事。歷史上至少有兩個主要的“AI寒冬”時期，人工智能作為一個實踐領域因實際價值創造有限或期望過高而萎縮。

當前的進展有所不同：我們看到的不是懷疑論者，而是生成式AI的“末日預言者”的崛起。這些人認為當前的生成式AI系統是技術演化的終極和最終階段，並認為將會有一個實驗室或模型統治一切。他們還相信唯一可能的結果是前所未有的失業、貧困和失控的網絡犯罪。本質上，他們不相信人類能夠戰勝自己創造的技術。劇透：這在人類文明史上從未發生過。人類主宰地球是有原因的，包括我們生物學上的生存意識以及集體的探索和創造力。

要警惕這些人：他們要麼出於惡意（傳播恐懼、不確定性和懷疑），要麼是愚蠢（鄧寧-克魯格效應在自稱的生成式AI專家圈中普遍存在），要麼試圖向你推銷某些東西。很多時候，他們是這三者的危險混合體。

是的，看到最新的Anthropic和OpenAI模型在“網絡攻擊能力”方面的表現令人擔憂。而假設中國的前沿實驗室不在那裏或更遠則是天真的。但是，所有這些風險都不超過同一技術被安全負責任地使用的潛在好處。我們需要保持警惕，盡我們的一份力量，確保當前和下一代AI系統對社會利大於弊。形式化方法、縱深防禦、嚴格的沙箱邊界、防篡改硬件認證程序等，在生成式AI之前就已存在。它們仍然像以往一樣重要和當前。

禁運、出口管制和其他物理世界的緩解措施可能在短期內有所幫助，但它們不會長久（它們從未長久）。實際上，已經有早期信號表明當前的硅禁運並不能阻止“壞人”推動前沿發展。稀缺性，正如科技史上的其他時期，是發明之母。

我選擇做一個健康的偏執樂觀主義者，併為圍繞AI法規的深思熟慮、有時有爭議的辯論而倡導。不是由政府和公共政治驅動，而是由一個可信、知名、管理良好且資金充足的機構（如美國的自律組織FINRA）驅動。

完美是好的敵人。我大部分時候討厭這句話。我熱愛追求完美。但是，在大型語言模型及其後續創新的空前速度下，如果我們等待完美的解決方案出現，它誕生時就已經過時了。

世界各地的政府和議會正試圖制定AI法律，但他們沒有準備好也不願意真誠地辯論這一代AI系統的利弊。制度上薄弱的國家將做出錯誤的決定，並被排除在這一變革性技術的潛在好處之外。

負責任的自我治理：美國證券業是一個很好的例子。它並非無懈可擊，但也不假裝完美。美國證券市場不僅是世界上最大的，也是地球上最可信和高度監管的市場之一。瞭解FINRA。以及閲讀DeepMind的Demis Hassabis的更多內容。