「事後修正だけで済ませるな：AI科学は訓練ダイナミクスを研究すべきだ」と題されたこの立場論文は、ICMLの口頭発表として採択された。著者はStella Biderman、Mohammad Aflah Khan、Niloofar Mireshghallah、Catherine Arnett、Fazl Barez、Naomi Saphraの6名で、2026年6月3日にarXivへ投稿された。
論文の出発点は、「AIを科学的に理解するとはどういうことか」という根本的な問いである。著者らによれば、モデルは静的な対象ではなく、データ、目的関数、アーキテクチャ、最適化のダイナミクスによって形作られる、時間とともに変化するプロセスのスナップショットにすぎない。しかし現在のAI研究の多くはモデルを固定された成果物として扱い、訓練後に振る舞いを分析するだけで、その振る舞いがなぜ生じたのかを問わない。
著者らは、この「事後修正」型の研究姿勢に根本的な限界があると指摘する。真に科学と呼べるAI研究は、モデルの振る舞いを生み出す訓練ダイナミクスそのものを研究すべきだというのが本論文の主張である。そのために論文は、段階的に強くなる理解の枠組みを提示する。第一段階は訓練初期の信号から最終的な結果を予測すること、第二段階は訓練の軌道が望ましくない方向へ進んだ際に介入すること、そして最終段階は、望ましい性質をより確実に生み出す訓練手順を設計することである。
論文は、スケーリング則によって損失の予測が日常的なものになったと指摘する。訓練の初期段階でも最終的な損失をかなり正確に見積もれるようになったというわけだ。しかし本当の課題は、この成功を能力、バイアス、ロバスト性、安全性に関わる振る舞いへと拡張することにある。つまり「どれだけうまく学習するか」だけでなく、「何を学ぶのか」「問題を起こさないか」を予測できる必要がある。
こうした科学理論が満たすべき要件を定めるため、著者らは科学史および科学哲学の議論を参照する。そのうえで、機構的解釈可能性、公平性、記憶（memorization）、単純性バイアスといった研究分野の進展を体系的に検討する。これらの領域はすでに、訓練の結果ではなく過程からモデルの振る舞いを理解しようとする試みを含んでいるが、依然として大きな空白が残っていると論文は論じる。
最後に論文は、具体的な未解決問題をいくつか列挙する。そして、訓練済みモデルの事後分析から訓練ダイナミクス自体の研究へと関心を移し、モデルの振る舞いを予測し、介入し、設計できるAI科学を築くよう研究コミュニティに呼びかけている。本論文は人工知能（cs.AI）および計算と言語（cs.CL）の領域に属し、全文は約97KBである。