OpenAI与Anthropic签署公开信，呼吁立法防止AI制造生物武器

包括Google DeepMind的Demis Hassabis、OpenAI的Sam Altman、Anthropic的Dario Amodei以及Microsoft AI的Mustafa Suleyman在内的多位AI行业领袖，联合签署了一封公开信，呼吁通过法律强制要求销售合成DNA和RNA的公司对客户和订单进行筛查，以防止基因材料被用于制造生物武器。这封信由无党派组织“进步研究所”和右倾的“美国创新基金会”组织发起，信中承认，鉴于AI的发展速度，“存在一种现实可能性，即历史上阻止恶意行为者获取生物武器的知识壁垒将显著削弱。”

科学家Arthur Kornberg在20世纪50年代首次成功合成DNA。如今，这一过程已实现自动化，全球数十家公司利用商业合成仪“打印”并销售定制的基因序列，用于科学研究、药物开发和诊断。许多供应商只向合格的研究人员、生物技术公司和教育机构销售，但并非所有供应商都会审查客户或订购的基因序列。2017年，加拿大研究人员通过邮寄订购的价值10万美元的DNA重建了已灭绝的马痘病毒，引发警觉。批评者指出，同样的方法可用于构建天花病毒——一种密切相关且致命的病毒。自那以后，基因合成成本进一步下降。

结合AI的进步，如今利用大型语言模型设计新型危险毒素和病原体已成为可能，尽管从头制造功能性病毒可能仍需要一定的生物学训练。虽然生物恐怖袭击鲜有发生，但它们可能造成大规模伤亡、公众恐慌和经济损失。一个主要的担忧是，AI设计的病原体可能有意或无意地引发全球大流行。

“AI工具使用户能够迅速识别哪些订单序列不会被筛查，”斯坦福大学微生物学家和生物安全专家David Relman表示，他也是签署者之一。“如果得到适当提示，它们还能告诉你如何改变订单性质，使得即使是那些进行筛查的公司也更难检测到你试图制造什么。”

签署者还包括其他科学家、国家安全专家以及基因合成公司Twist Bioscience和Ansa Biotechnologies的高管。这些公司是国际基因合成联盟（IGSC）的成员，该联盟成立于2009年，旨在实施自愿筛查实践。许多公司已使用软件筛查订单中的“关注序列”，这些序列可能增强生物体的毒性或致病能力。

“如果你拥有能够合成DNA的技术，那么你应确保其得到负责任的使用，部分责任就是确保你了解你在制造什么以及为谁制造，”Twist Bioscience政策和生物安全副总裁James Diggans表示。该公司多年来一直支持实施正式规则。

拜登政府期间出台的联邦指南要求，接受联邦资助的科学家和公司必须从进行采购筛查的供应商订购合成基因序列。今年早些时候在参议院提出的一项两党法案将要求所有在美国运营的基因合成供应商对订单和客户进行筛查，以防范不良行为者或危险病原体。

但筛查工具并非完美。去年，微软研究人员发表的一项研究表明，AI蛋白质设计工具能够生成可能危险的基因序列，这些序列成功避开了公司的筛查软件。这些模型提出了与已知危险蛋白质结构相似的新蛋白质序列。

Y Combinator前总裁、Safe AI Fund合伙人Geoff Ralston认为，拥有生物学模型的AI实验室应对其用户进行筛查。“如果要求模型帮助你做即将危险的事情，应当非常困难，甚至不可能，”同样签署了这封信的Ralston说。Relman同意，围绕筛查程序的法规只是解决方案的一部分。“鉴于筛查在某些情况下可能失败，我们必须有其他控制点，”他说，“这就是AI公司必须加强的地方。”