立場:不要僅靠“後期修復”——AI科學必須研究訓練動態
本文主張,AI科學應超越僅分析事後模型的研究範式,轉向研究訓練過程中模型行為產生的動態機制。通過預測早期信號、干預異常軌跡及設計可靠的訓練流程,實現更深入的AI理解。
近年來,人工智能研究取得了顯著進展,但許多工作仍將訓練完成的模型視為固定成品,僅關注其最終行為,而忽略了模型從數據、目標函數和優化過程中逐步湧現的動態本質。一篇發表於ICML 2026的立場論文(arXiv:2606.06533)呼籲:AI科學必須將研究重心轉向訓練動態,真正理解模型行為為何產生、如何演變。
論文指出,模型並非靜態對象,而是隨時間演化的過程快照,受數據分佈、目標函數、架構選擇及優化動力學共同塑造。然而,當前主流方法往往在訓練結束後進行“事後分析”,試圖通過微調或修補來改善性能,卻很少追問行為背後的成因。這種“後期修復”思路限制了AI作為一門科學的成熟度。
為建立真正的AI科學,論文提出一種遞進式的理解框架:首先,能從早期訓練信號預測最終結果;其次,能在訓練軌跡偏離期望時及時干預;最終,能主動設計訓練流程,使其更可靠地產生所需特性。縮放定律已在損失預測上取得成功,但如何將其推廣到能力、偏見、魯棒性及安全相關行為仍是重大挑戰。
論文借鑑科學史與科學哲學,為AI理論提出具體要求:必須具備預測力、干預力和設計力。在此框架下,作者審視了機械可解釋性、公平性、記憶化、簡單性偏差等領域的現有進展,指出了具體開放問題。例如,在可解釋性中,如何從簡單特徵組合發展到對完整訓練過程的因果理解?在公平性中,如何確保干預措施在動態訓練中持續有效?
該論文由Stella Biderman、Mohammad Aflah Khan、Niloofar Mireshghallah、Catherine Arnett、Fazl Barez和Naomi Saphra共同撰寫,已被ICML 2026接收為口頭報告。文章強調,只有當AI社區系統性地研究訓練動態,才能真正實現從“製造模型”到“理解智能”的跨越。