我會見了中國頂級AI專家。他們也很恐慌
在一次北京的人工智慧會議上，專家們呼籲中美在AI安全方面合作，以應對先進模型帶來的網路攻擊和系統風險。開源模型的普及使得風險加劇，但國際合作有望降低系統性威脅。
在北京人工智慧研究院組織的一次會議上，中美兩國的AI專家齊聚一堂，討論議題涵蓋遞迴自我改進、人形機器人等前沿領域。然而，會議傳遞出的核心資訊是：美國和中國應暫時擱置激烈的AI競爭。
前沿AI的網路安全和系統性風險不容忽視，日益強大的代理型模型可能很快引發混亂，除非全球AI超級大國能夠合作。麻省理工學院的電腦科學家斯蒂芬·卡斯珀透過影片在會議上發言，他指出，AI是一項全球性技術，帶來全球收益和全球危害，新能力最終會持續擴散。
此前，美國主要將中國的AI進步視為經濟和國家安全威脅，並透過對晶片和晶片製造裝置實施嚴格限制來阻礙中國發展強大AI。最近，美國政府出於國家安全考慮，要求Anthropic阻止外國公民訪問其最強大的模型Mythos和Fable 5。但會議強化了一個觀點：如果AI發展過快且不計後果，美中兩國都將蒙受損失。隨著AI變得更強大、更具代理性並更深地融入日常生活，它被用於網路攻擊或以災難性方式失敗的風險只會增加。
卡斯珀指出，研究表明，在AI危險方面進行國際合作的收益大於任何國家安全風險。他將當前局勢類比為美國和蘇聯在核危險方面被迫合作，儘管它們試圖在庫存上超越對方。“目前幾乎所有AI人士都同意的一點是，AI不需要一個切爾諾貝利時刻，”卡斯珀說。
一場全天會議突顯了更先進AI帶來的網路挑戰的普遍性，包括AI生成程式碼中的新型漏洞、代理型工具使用帶來的新攻擊方式，以及自動化社交工程攻擊方法。在另一場會議後，上海交通大學的林雲教授表示，他預計短期內駭客將佔據優勢，但新的反制措施（包括AI的新用途）應能隨著時間的推移使平衡重新傾向於防禦。林雲說，即使競爭使國際合作複雜化，它仍應是一個優先事項。“如果不同國家以類似方式理解風險，就更容易制定共享的安全原則和技術標準，”他說，“關鍵在於找到可以在不暴露敏感操作細節的情況下減少系統性風險的分享領域。”
兩國面臨的最緊迫問題可能是如何平衡開放與風險。開源模型對研究和創新至關重要，中國的模型在美國頗受歡迎。但隨著這些模型的進步，確保它們不會幫助駭客識別安全漏洞或被用作網路武器將變得更加困難。過去幾年，中國公司在提供高度能力的開源AI模型方面領先，例如Moonshot的Kimi、阿里巴巴的Qwen和Z.ai的GLM。但我們已經接近一個轉折點，即使功能較弱的開源模型如果去掉護欄也可能變得危險。Z.ai最新的GLM 5.2模型據專家分析包含了前沿的代理和編碼能力。林雲表示，行業需要設計新的方法來保證開源模型是最新的、沒有後門和漏洞，並符合安全標準。一個可能的跡象是：中國一家領先AI公司的訊息人士（要求匿名）告訴我，安全問題是一些中國高階模型不再作為開源釋出的原因之一。