这篇题为《不要只做“事后修补”:AI科学必须研究训练动态》的立场论文已被ICML接收为口头报告,作者包括Stella Biderman、Mohammad Aflah Khan、Niloofar Mireshghallah、Catherine Arnett、Fazl Barez和Naomi Saphra,论文于2026年6月3日提交至arXiv。
论文从一个根本性问题出发:怎样才算真正“科学地理解”人工智能?作者的出发点是,模型并不是静态对象,而是由数据、目标函数、架构和优化动态共同塑造的、随时间演化过程的快照。然而当前大量AI研究把模型当成固定的人工制品,只在训练结束后分析其行为,却很少追问这些行为究竟为何会出现。
作者认为,这种“事后修补”式的研究路径存在根本局限。真正的AI科学应当研究产生模型行为的训练动态,而不是等训练完成后再去修补问题。为此,论文提出了一个递进式的理解框架:第一层是能够从训练的早期信号中预测最终结果;第二层是在训练轨迹出现偏差时进行干预;第三层则是设计训练流程,使其更可靠地产生所期望的属性。
论文指出,缩放定律已经让损失预测变得常规化,研究者可以在训练早期较准确地估计最终损失。真正的挑战在于把这一成功扩展到能力、偏见、鲁棒性和安全相关行为上。换言之,不仅要预测模型“学得好不好”,还要预测它“学会了什么”“会不会出问题”。
为了界定这种科学理论应当满足哪些要求,作者援引科学史与科学哲学来阐述理论标准,并系统考察了机制可解释性、公平性、记忆化和简单性偏见等方向的研究进展。这些领域已经在不同程度上尝试从训练过程而非训练结果来理解模型行为,但仍存在明显空白。
论文最后列出了若干具体的开放问题,呼吁研究社区将注意力从对训练完成的模型做事后分析,转向对训练动态本身的研究,从而建立一门能够预测、干预并设计模型行为的AI科学。该论文属于人工智能(cs.AI)与计算和语言(cs.CL)领域,全文约97KB。