Nous Research發佈對比神經元歸因（CNA）：無需SAE訓練或權重修改的稀疏MLP電路操控

要點

• CNA通過對比正向和負向提示的MLP激活值，選出最相關神經元，只需前後向傳播。
• 僅消融0.1%的MLP神經元即可使多數指令模型的拒絕率降低50%以上，輸出質量保持在0.97以上。
• 研究發現，區分有害與良性提示的晚期層結構在基礎模型中已存在，對齊微調只是改變了該結構內神經元的功能。
• CNA在Llama和Qwen架構上驗證，無需額外訓練，優於傳統對比激活添加（CAA）方法。