一篇由耶魯大學等機構的研究人員發表的新論文提出了一種名為程式性記憶蒸餾（PMD）的方法，旨在提升語言模型的自我改進能力。該方法透過線上反思機制，將強化學習過程中產生的跨回合訊號轉化為可重用的程式性記憶，並蒸餾到模型的策略權重中。
傳統的強化學習與可驗證獎勵（RLVR）以及近年來流行的自蒸餾變體（如SDPO）主要依賴於單個回合的評估來更新策略。然而，這些方法忽略了回合中蘊含的更豐富的程式性資訊，例如哪些策略能夠持續透過驗證、哪些失敗模式反覆出現，以及哪些行為模式具有重複性。PMD則透過收集這些跨回合訊號，構建一個不斷演化的程式性記憶庫。
PMD的記憶庫分為三個抽象層次：原始軌跡、自反思的策略和教訓，以及跨問題的高層行為模式。這些記憶全部線上地從模型自身的軌跡中提取。一個記憶條件的自我教師利用積累的經驗來監督學生模型在其自身回合上的表現，使得學生模型能夠逐步將程式性知識內化到其引數中。其核心設計原則是共同進化：策略生成回合更新記憶，記憶塑造監督進而更新策略。
實驗結果顯示，在Qwen3-8B和OLMo3-Instruct-7B兩個模型上，PMD在SCIKNOWEVAL基準上比SDPO提升3.8-5.5%，在LIVECODEBENCH基準上提升7.9-13.6%。研究還表明，共同進化機制是關鍵：凍結記憶或策略都會導致效能下降超過10%。這一方法為語言模型的持續自我改進提供了新的思路，有望在需要從經驗中持續學習的場景中發揮重要作用。此外，PMD的優勢在於其線上性質：無需預先收集資料，模型在自我生成的資料上自我訓練，從而實現持續適應。未來的工作可能包括將該方法擴充套件到多工學習和跨領域遷移，以及探索不同模型架構下的可遷移性。