Dario Amodei的新论文:AI时代的冷战剧本
Anthropic发布了一篇全面的论文和两个政策框架,呼吁对前沿模型进行具有约束力的审计,并将AI描绘为国家间战略武器。CEO Dario Amodei以《指环王》的树人比喻政治系统反应缓慢,警告AI能力呈指数级增长,可能在1-2年内出现“强大AI”。公司提出强制性第三方测试、披露要求和阻止风险模型权力,并制定了应对失业的层级计划。
Anthropic首席执行官Dario Amodei发表了一篇题为《AI指数级政策》的论文,同时公司发布了两个框架:一个用于监管前沿AI,另一个用于应对失业问题,并承诺提供重大资金支持。
Amodei的开篇诊断是速度问题,他用《指环王》中的情节来阐述:两个霍比特人试图唤醒树人Treebeard保卫森林,但树人行动极其缓慢,需要一整天才能问候另一棵树。在Amodei看来,树人代表政治体系,霍比特人代表像Anthropic这样提前发出警报的人,而逼近的军队则是未受监管的AI威胁。他引用缩放定律指出,模型能力随算力呈指数级增长,预计未来1-2年内可能出现“强大AI”,即“数据中心里的一个天才国家”。
Anthropic为何认为旧方法不再适用?Amodei指出,此前公司主要推动透明度要求,因为风险尚不明确。但随着“Claude Mythos Preview”的出现,它扰乱了全球网络安全格局,并表明前沿模型对金融、关键基础设施和国家安全构成实际风险。Amodei预计生物风险和自主性风险也将很快出现。他现呼吁在四个风险领域进行强制性第三方测试:网络安全、生物武器、AI系统失控以及可能加速这些风险的自动化研发。政府机构应有权阻止或撤回高风险模型,类似FAA对飞机的技术检查。
高级AI框架将Amodei的呼吁转化为详细提案。该框架针对训练算力超过10^25 FLOP且年AI收入超5亿美元或研发支出超10亿美元的开发者。公司提议每年审查标准,并最终从算力阈值转向能力阈值。框架要求披露安全框架、高风险模型系统卡、半年风险报告,并在15天内报告安全事件。开发者须在6个月内聘请无财务关联的独立评估员,并通过评级和分配系统防止“评估员购物”。框架还包括模型权重安全要求、虚假陈述民事处罚、举报人保护以及阻止风险模型的权力。关于联邦权威,Anthropic主张国会只有在建立至少同样严格的联邦制度时才能优先于州法。
框架的第二部分涉及社会韧性。对于生物风险,提出预防(现代化生物安全标准)、检测(早期预警系统)和准备(防护设备、AI加速对策)的分层方法。网络安全方面,因AI正在改变攻击的经济性,提案包括保护开源和遗留软件、支持关键基础设施运营商以及利用AI修复漏洞。对于失控和自动化研发,Anthropic承认韧性议程尚不完善,仅提出大致方向:检测并关闭失控的AI系统。
经济框架根据失业率分级:第一级(约5%)提出出生时设立全民资本账户、工资保险、职业许可改革和培训补贴;第二级(约10%)扩大失业保险和基本需求援助;第三级(远超历史最高)探讨新税收和再分配工具,如全民基本收入、AI主权财富基金或更高资本利得税。Anthropic表示愿意支付“公平份额”。
在论文中,Amodei还警告FDA和EMA等监管机构可能被AI加速的研究淹没。他呼吁对自主武器制定问责规则,禁止国内使用,并关闭大规模监控中的数据经纪漏洞。地缘政治上,他主张民主国家联盟共享供应链同时阻止对手访问,并加强芯片出口管制。Amodei将AI视为核武器级别的地缘政治重塑者,认为拥有AI的国家对阵无AI的国家如同海军陆战队对阵中世纪剑士,并设想了完全自主的无人机军队。他强调国家既是合法保护者也是潜在AI专制的工具,合作主要是志同道合民主国家的联盟,通过供应链和出口管制与专制国家隔离开来。这本质上是AI时代的冷战逻辑。他反驳AI行业仅有公关问题的说法,认为公众担忧是合理的,对真实风险的透明度正是民主问责制的体现。