AI News HubLIVE
站内改写2 分钟阅读

单个神经元足以绕过大型语言模型的安全对齐

研究表明,语言模型的安全对齐通过两种机械上不同的系统运作:拒绝对话的神经元和编码有害知识的概念神经元。通过针对每个系统中的单个神经元,研究人员展示了两种失败模式——通过抑制绕过明确有害请求的安全性,以及通过放大从无害提示中诱导有害内容——涉及7个模型、两个系列、参数规模从1.7B到70B,无需任何训练或提示工程。这表明安全对齐并未稳健地分布在模型权重中,而是由单个神经元介导,这些神经元在因果上足以控制拒绝行为。

近日,马里兰大学与苹果公司的研究人员发表了一项重要研究,揭示大型语言模型的安全对齐机制存在根本性的脆弱性。该研究于2026年7月发布,作者包括Hamid Kazemi、Atoosa Chegini和Maria Safi。研究表明,语言模型的安全对齐依赖于两种机械上不同的系统:拒绝对话的神经元(refusal neurons)和编码有害知识的概念神经元(concept neurons)。拒绝对话的神经元控制模型是否输出有害知识,而概念神经元则编码有害知识本身。通过针对每个系统中的单个神经元,研究人员成功演示了两种失败模式:一是通过抑制拒绝对话的神经元来绕过对明确有害请求的安全限制,二是通过放大概念神经元来从无害提示中诱导出有害内容。这些实验覆盖了七个模型,跨越两个模型家族,参数规模从1.7亿到700亿,且无需任何额外训练或提示工程。研究结果令人震惊:仅抑制一个拒绝对话的神经元就足以在多种有害请求上全面绕过安全对齐。这表明安全对齐并非如先前所认为的那样稳健地分布在模型权重中,而是由少数关键神经元介导,这些神经元在因果上足以控制拒绝行为。这一发现对当前的安全对齐方法提出了严重质疑,并指出未来需要开发更加分布式和冗余的安全机制,以防止单点故障导致安全崩溃。研究团队还指出,这一脆弱性不仅存在于大型模型中,而且随着模型规模增大,神经元的功能集中性可能更加明显。该研究打破了传统观念,即安全对齐是通过大量参数的分布式表示实现的。相反,它表明安全对齐高度集中,容易受到针对单个神经元的攻击。研究人员还强调,他们的方法不需要任何训练或提示工程,这意味着即使没有高级攻击技术,也能轻易绕过安全限制。因此,模型开发者需要重新思考安全对齐的设计原则,例如通过引入冗余神经元或采用更鲁棒的训练方法来分散关键功能。此外,该研究还引发了对当前评估基准的反思,因为许多基准假设安全对齐是稳健的,但实际并非如此。这一工作为AI安全领域提供了重要的警示和新的研究方向。