検証可能な報酬を用いた強化学習（RLVR）や、SDPOのような最近の自己蒸留変種では、各ロールアウトを検証器で評価し、そのエピソードレベルの信号からポリシーを更新する。しかし、ロールアウトに含まれるより豊富な手続き的情報はほとんど保持・再利用されない。エピソードやエポックをまたいで、モデルは変化するポリシーの下で関連する問題に繰り返し遭遇し、エピソードローカルな更新では捉えられないエピソード横断的な信号を生み出す。どの戦略が一貫して検証に合格するか、どの失敗モードが持続するか、どのパターンが再発するか、といった信号である。
そこで著者らは Procedural Memory Distillation（PMD）を提案する。これはエピソード横断的な信号を再利用可能な手続き記憶に変換し、訓練中にポリシーの重みへ蒸留する。この記憶は訓練の足場として機能し、ポリシー自体に吸収されるため、推論時には記憶不要のモデルが得られる。PMDは記憶を三つの抽象レベルで組織化する。すなわち、生の軌跡、自己内省から得られた戦略と教訓、そして問題をまたいで再発する高次の行動パターンであり、これらはすべてモデル自身の軌跡からオンラインで抽出される。
記憶を条件とした自己教師は、蓄積された経験を利用して、学生モデル自身のロールアウトに対して監督を行い、学生が手続き的知識をパラメータ内に漸進的に内在化できるようにする。中心となる設計原則は共進化である。ポリシーがロールアウトを生成して記憶を更新し、記憶がポリシーを更新する監督を形成する。
実験は Qwen3-8B と OLMo3-Instruct-7B で行われた。PMD は SDPO と比較して、SCIKNOWEVAL で 3.8-5.5%、LIVECODEBENCH で 7.9-13.6% の改善を示した。アブレーションでは、記憶またはポリシーのいずれかを固定すると、SCIKNOWEVAL の各領域で PMD に 10% 以上劣ることが示され、共進化がこれらの向上を支えていることが確認された。