我会见了中国顶级AI专家。他们也很恐慌
在一次北京的人工智能会议上，专家们呼吁中美在AI安全方面合作，以应对先进模型带来的网络攻击和系统风险。开源模型的普及使得风险加剧，但国际合作有望降低系统性威胁。
在北京人工智能研究院组织的一次会议上，中美两国的AI专家齐聚一堂，讨论议题涵盖递归自我改进、人形机器人等前沿领域。然而，会议传递出的核心信息是：美国和中国应暂时搁置激烈的AI竞争。
前沿AI的网络安全和系统性风险不容忽视，日益强大的代理型模型可能很快引发混乱，除非全球AI超级大国能够合作。麻省理工学院的计算机科学家斯蒂芬·卡斯珀通过视频在会议上发言，他指出，AI是一项全球性技术，带来全球收益和全球危害，新能力最终会持续扩散。
此前，美国主要将中国的AI进步视为经济和国家安全威胁，并通过对芯片和芯片制造设备实施严格限制来阻碍中国发展强大AI。最近，美国政府出于国家安全考虑，要求Anthropic阻止外国公民访问其最强大的模型Mythos和Fable 5。但会议强化了一个观点：如果AI发展过快且不计后果，美中两国都将蒙受损失。随着AI变得更强大、更具代理性并更深地融入日常生活，它被用于网络攻击或以灾难性方式失败的风险只会增加。
卡斯珀指出，研究表明，在AI危险方面进行国际合作的收益大于任何国家安全风险。他将当前局势类比为美国和苏联在核危险方面被迫合作，尽管它们试图在库存上超越对方。“目前几乎所有AI人士都同意的一点是，AI不需要一个切尔诺贝利时刻，”卡斯珀说。
一场全天会议突显了更先进AI带来的网络挑战的普遍性，包括AI生成代码中的新型漏洞、代理型工具使用带来的新攻击方式，以及自动化社交工程攻击方法。在另一场会议后，上海交通大学的林云教授表示，他预计短期内黑客将占据优势，但新的反制措施（包括AI的新用途）应能随着时间的推移使平衡重新倾向于防御。林云说，即使竞争使国际合作复杂化，它仍应是一个优先事项。“如果不同国家以类似方式理解风险，就更容易制定共享的安全原则和技术标准，”他说，“关键在于找到可以在不暴露敏感操作细节的情况下减少系统性风险的分享领域。”
两国面临的最紧迫问题可能是如何平衡开放与风险。开源模型对研究和创新至关重要，中国的模型在美国颇受欢迎。但随着这些模型的进步，确保它们不会帮助黑客识别安全漏洞或被用作网络武器将变得更加困难。过去几年，中国公司在提供高度能力的开源AI模型方面领先，例如Moonshot的Kimi、阿里巴巴的Qwen和Z.ai的GLM。但我们已经接近一个转折点，即使功能较弱的开源模型如果去掉护栏也可能变得危险。Z.ai最新的GLM 5.2模型据专家分析包含了前沿的代理和编码能力。林云表示，行业需要设计新的方法来保证开源模型是最新的、没有后门和漏洞，并符合安全标准。一个可能的迹象是：中国一家领先AI公司的消息人士（要求匿名）告诉我，安全问题是一些中国高级模型不再作为开源发布的原因之一。