末日AI？

在生成式人工智能领域，我们正经历一个非常特殊的时刻。前沿模型，包括即将开放权重的模型，正变得越来越强大，能够持续执行数天的任务，消耗数百万个代币。然而，AI领域的高期望并非新鲜事。历史上至少有两个主要的“AI寒冬”时期，人工智能作为一个实践领域因实际价值创造有限或期望过高而萎缩。

当前的进展有所不同：我们看到的不是怀疑论者，而是生成式AI的“末日预言者”的崛起。这些人认为当前的生成式AI系统是技术演化的终极和最终阶段，并认为将会有一个实验室或模型统治一切。他们还相信唯一可能的结果是前所未有的失业、贫困和失控的网络犯罪。本质上，他们不相信人类能够战胜自己创造的技术。剧透：这在人类文明史上从未发生过。人类主宰地球是有原因的，包括我们生物学上的生存意识以及集体的探索和创造力。

要警惕这些人：他们要么出于恶意（传播恐惧、不确定性和怀疑），要么是愚蠢（邓宁-克鲁格效应在自称的生成式AI专家圈中普遍存在），要么试图向你推销某些东西。很多时候，他们是这三者的危险混合体。

是的，看到最新的Anthropic和OpenAI模型在“网络攻击能力”方面的表现令人担忧。而假设中国的前沿实验室不在那里或更远则是天真的。但是，所有这些风险都不超过同一技术被安全负责任地使用的潜在好处。我们需要保持警惕，尽我们的一份力量，确保当前和下一代AI系统对社会利大于弊。形式化方法、纵深防御、严格的沙箱边界、防篡改硬件认证程序等，在生成式AI之前就已存在。它们仍然像以往一样重要和当前。

禁运、出口管制和其他物理世界的缓解措施可能在短期内有所帮助，但它们不会长久（它们从未长久）。实际上，已经有早期信号表明当前的硅禁运并不能阻止“坏人”推动前沿发展。稀缺性，正如科技史上的其他时期，是发明之母。

我选择做一个健康的偏执乐观主义者，并为围绕AI法规的深思熟虑、有时有争议的辩论而倡导。不是由政府和公共政治驱动，而是由一个可信、知名、管理良好且资金充足的机构（如美国的自律组织FINRA）驱动。

完美是好的敌人。我大部分时候讨厌这句话。我热爱追求完美。但是，在大型语言模型及其后续创新的空前速度下，如果我们等待完美的解决方案出现，它诞生时就已经过时了。

世界各地的政府和议会正试图制定AI法律，但他们没有准备好也不愿意真诚地辩论这一代AI系统的利弊。制度上薄弱的国家将做出错误的决定，并被排除在这一变革性技术的潜在好处之外。

负责任的自我治理：美国证券业是一个很好的例子。它并非无懈可击，但也不假装完美。美国证券市场不仅是世界上最大的，也是地球上最可信和高度监管的市场之一。了解FINRA。以及阅读DeepMind的Demis Hassabis的更多内容。