單個神經元足以繞過大型語言模型的安全對齊
研究表明，語言模型的安全對齊通過兩種機械上不同的系統運作：拒絕對話的神經元和編碼有害知識的概念神經元。通過針對每個系統中的單個神經元，研究人員展示了兩種失敗模式——通過抑制繞過明確有害請求的安全性，以及通過放大從無害提示中誘導有害內容——涉及7個模型、兩個系列、參數規模從1.7B到70B，無需任何訓練或提示工程。這表明安全對齊並未穩健地分佈在模型權重中，而是由單個神經元介導，這些神經元在因果上足以控制拒絕行為。
近日，馬里蘭大學與蘋果公司的研究人員發表了一項重要研究，揭示大型語言模型的安全對齊機制存在根本性的脆弱性。該研究於2026年7月發佈，作者包括Hamid Kazemi、Atoosa Chegini和Maria Safi。研究表明，語言模型的安全對齊依賴於兩種機械上不同的系統：拒絕對話的神經元（refusal neurons）和編碼有害知識的概念神經元（concept neurons）。拒絕對話的神經元控制模型是否輸出有害知識，而概念神經元則編碼有害知識本身。通過針對每個系統中的單個神經元，研究人員成功演示了兩種失敗模式：一是通過抑制拒絕對話的神經元來繞過對明確有害請求的安全限制，二是通過放大概念神經元來從無害提示中誘導出有害內容。這些實驗覆蓋了七個模型，跨越兩個模型家族，參數規模從1.7億到700億，且無需任何額外訓練或提示工程。研究結果令人震驚：僅抑制一個拒絕對話的神經元就足以在多種有害請求上全面繞過安全對齊。這表明安全對齊並非如先前所認為的那樣穩健地分佈在模型權重中，而是由少數關鍵神經元介導，這些神經元在因果上足以控制拒絕行為。這一發現對當前的安全對齊方法提出了嚴重質疑，並指出未來需要開發更加分佈式和冗餘的安全機制，以防止單點故障導致安全崩潰。研究團隊還指出，這一脆弱性不僅存在於大型模型中，而且隨着模型規模增大，神經元的功能集中性可能更加明顯。該研究打破了傳統觀念，即安全對齊是通過大量參數的分佈式表示實現的。相反，它表明安全對齊高度集中，容易受到針對單個神經元的攻擊。研究人員還強調，他們的方法不需要任何訓練或提示工程，這意味着即使沒有高級攻擊技術，也能輕易繞過安全限制。因此，模型開發者需要重新思考安全對齊的設計原則，例如通過引入冗餘神經元或採用更魯棒的訓練方法來分散關鍵功能。此外，該研究還引發了對當前評估基準的反思，因為許多基準假設安全對齊是穩健的，但實際並非如此。這一工作為AI安全領域提供了重要的警示和新的研究方向。