Nous Research发布对比神经元归因（CNA）：无需SAE训练或权重修改的稀疏MLP电路操控

要点

• CNA通过对比正向和负向提示的MLP激活值，选出最相关神经元，只需前后向传播。
• 仅消融0.1%的MLP神经元即可使多数指令模型的拒绝率降低50%以上，输出质量保持在0.97以上。
• 研究发现，区分有害与良性提示的晚期层结构在基础模型中已存在，对齐微调只是改变了该结构内神经元的功能。
• CNA在Llama和Qwen架构上验证，无需额外训练，优于传统对比激活添加（CAA）方法。