立场:不要仅靠“后期修复”——AI科学必须研究训练动态
本文主张,AI科学应超越仅分析事后模型的研究范式,转向研究训练过程中模型行为产生的动态机制。通过预测早期信号、干预异常轨迹及设计可靠的训练流程,实现更深入的AI理解。
近年来,人工智能研究取得了显著进展,但许多工作仍将训练完成的模型视为固定成品,仅关注其最终行为,而忽略了模型从数据、目标函数和优化过程中逐步涌现的动态本质。一篇发表于ICML 2026的立场论文(arXiv:2606.06533)呼吁:AI科学必须将研究重心转向训练动态,真正理解模型行为为何产生、如何演变。
论文指出,模型并非静态对象,而是随时间演化的过程快照,受数据分布、目标函数、架构选择及优化动力学共同塑造。然而,当前主流方法往往在训练结束后进行“事后分析”,试图通过微调或修补来改善性能,却很少追问行为背后的成因。这种“后期修复”思路限制了AI作为一门科学的成熟度。
为建立真正的AI科学,论文提出一种递进式的理解框架:首先,能从早期训练信号预测最终结果;其次,能在训练轨迹偏离期望时及时干预;最终,能主动设计训练流程,使其更可靠地产生所需特性。缩放定律已在损失预测上取得成功,但如何将其推广到能力、偏见、鲁棒性及安全相关行为仍是重大挑战。
论文借鉴科学史与科学哲学,为AI理论提出具体要求:必须具备预测力、干预力和设计力。在此框架下,作者审视了机械可解释性、公平性、记忆化、简单性偏差等领域的现有进展,指出了具体开放问题。例如,在可解释性中,如何从简单特征组合发展到对完整训练过程的因果理解?在公平性中,如何确保干预措施在动态训练中持续有效?
该论文由Stella Biderman、Mohammad Aflah Khan、Niloofar Mireshghallah、Catherine Arnett、Fazl Barez和Naomi Saphra共同撰写,已被ICML 2026接收为口头报告。文章强调,只有当AI社区系统性地研究训练动态,才能真正实现从“制造模型”到“理解智能”的跨越。