跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Anthropic主张测试而非禁令,OpenAI和Google支持开放权重

文章摘要

Anthropic CEO Dario Amodei明确表示公司不主张禁止开放权重AI模型,而是提议对每个足够强大的模型在发布前进行强制性安全测试。这一立场引发行业关注,已有50家机构签署支持开放权重的信件,而Anthropic和亚马逊尚未加入。

来源The New Stack AI作者: Matthew Burns
Anthropic主张测试而非禁令,OpenAI和Google支持开放权重
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Anthropic公司CEO达里奥·阿莫迪(Dario Amodei)今日明确表态,其公司并不主张禁止开放权重(open-weight)AI模型。这一声明是在经历了一周的批评之后作出的。相反,他提议对所有达到足够能力的模型在发布前进行强制性安全测试。然而,关键在于“足够能力”的定义尚未明确,而这将决定未来开放权重模型是否能够继续可用。

阿莫迪在公开信中写道:“Anthropic从未主张禁止开放权重模型。”他将不具备危险能力的模型称为“公共产品”,其成本仅在于运行所需的计算资源。

他的提案包含三部分:加强对先进芯片及芯片制造设备的出口管制;严厉打击工业规模的模型蒸馏行为;以及对所有足够能力的模型在发布前进行安全评估。前两项针对华盛顿的政策制定者,第三项则直接影响准备发布模型的开发者。

阿莫迪称,测试的想法已接近共识,并指出特朗普政府已朝此方向迈进,最近的行业提案也将要求无论模型来源或许可证类型,都需进行测试,同时“完全豁免能力较低的模型,例如来自初创公司和学术界的模型”。这一豁免至关重要,但“初创公司”的定义同样难以精确界定。一旦部分模型被豁免而其他模型不豁免,该政策本质上就变成了一个能力门槛。

那么,这个门槛划在哪里?没有人明确说明。信中未提及由谁设定标准或由谁执行测试。模型能力可以通过基准测试结果、训练计算量或针对特定风险类别的评估得分来衡量。而选择的指标将决定模型类型。选择指标的人也在为每个发布权重的实验室设定发布时机。

这是一个快速发展的故事。名为“开放权重与美国AI领导力”的公开信已有50位签署人,包括OpenAI和谷歌,以及微软、英伟达、Meta、AMD、思科、Cloudflare、GitHub和Ollama。Anthropic和亚马逊尚未加入。

周一,英伟达推出了开放安全AI联盟(Open Secure AI Alliance),拥有超过35个创始成员,包括微软、IBM、Hugging Face、Palantir、Red Hat、CrowdStrike和Linux基金会。Anthropic不在其中。英伟达认为,防御者需要开放的前沿模型来调查安全事件,并引用了最近一个案例:封闭工具阻碍了对Hugging Face事件的取证工作,而Hugging Face转而使用开放权重模型进行了分析。

值得肯定的是,阿莫迪直接回应了明显的批评。他表示,美国的禁令主要会保护国内AI公司免受竞争,而对阻止恶意行为者作用甚微。“这会保护美国AI公司免受竞争,但这从来不是我的目标。”这话没错,但也需要注意的是,Anthropic本身并不发布开放权重模型,因此这一声明略显空洞。

阿莫迪承认,测试“必须是全球性的,这意味着连CCP(中国共产党)也需要参与”,他认为这或许是可能的。这可能是这个故事中最大的未解问题。出口管制和反蒸馏措施是华盛顿可以单方面实施的政策,而全球能力测试制度则不同。直接影响开放权重模型的提案依赖于尚未存在(且可能永远不会存在)的广泛国际协议。

展开要点与分析

文章情报

工程师进阶

要点

  • Anthropic CEO表态不禁止开放权重模型,而是要求强制性安全测试
  • 提议包括收紧出口管制、打击模型蒸馏、对足够强大模型进行发布前评估
  • 已有50家机构签署支持开放权重的信件,包括OpenAI、Google、微软、Meta等
  • Amodei承认全球性的测试制度需要国际共识,包括中国的参与

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。