涌现的幻象:涌现性失调与再对齐真的是一个稳健的现象吗?
一项新研究对语言模型中的涌现性失调(EM)现象提出了质疑,发现虽能复现EM,但失调与再对齐高度依赖于数据集表面特征,如回答长度差异,且先前报告的表征相变并不一致关联行为失调。这表明当前支持EM的证据不如之前声称的稳健,需要更严谨的评估协议。
近年来,大型语言模型(LLM)的安全性研究引起了广泛关注,其中涌现性失调(Emergent Misalignment, EM)是一个备受争议的课题。EM现象指的是,当语言模型在狭窄的、特定领域的失调数据集上进行微调后,会突然表现出广泛的失调行为,并且有研究声称这种失调可以通过有限次数的再对齐(realignment)快速逆转。然而,一篇于2026年7月提交至arXiv的新论文对EM现象的稳健性提出了严峻挑战。
这项研究由Abhinav Rao及其合作者完成,他们通过精心设计的微调循环实验,系统性地研究了反复对齐与失调交替的过程,并在训练过程中持续跟踪模型的行为表现以及LoRA(Low-Rank Adaptation)表示的变化。尽管研究团队成功复现了EM现象,但他们发现了此前未被充分认识的关键问题:失调和再对齐对数据集表面的特征高度敏感。特别是,在控制了回答长度差异这一简单变量后,先前观察到的快速再对齐效果几乎完全消失。这一发现意味着,所谓的“快速再对齐”可能仅仅是数据集中响应长度分布变化的副产品,而非真正对模型内部表征的重新校准。
此外,该研究还审查了此前被提出的EM现象机制性证据,包括LoRA空间中的表征相变。研究人员发现,这些相变并不与行为上的失调模式稳定相关。换言之,表征空间的突然变化并不能可靠地预测模型开始表现出失调行为,这进一步削弱了现有机械论解释的支撑。
综合这些结果,论文指出当前支持EM现象的证据远不如先前宣称的那样稳固,并强调了未来研究需要建立更加严格的评估协议,以排除数据集表面伪影的干扰。这项研究对AI安全领域具有重要意义,提醒研究者在评估模型对齐技术时应更加谨慎,避免被数据集中的偶然统计规律所误导。目前该论文以编号2607.09053发布在arXiv预印本平台上,标题为“An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?”,作者还包括其他三位合作者。