近日，一篇題為《Lookahead Drifting Model》的論文提出了一種新穎的分佈對映方法，該方法隸屬於近年來興起的“漂移模型”正規化。漂移模型的核心思想是在每次訓練迭代中計算一個漂移項，並將模型的輸出推向該漂移項的方向。這種正規化在ImageNet資料集上透過單步神經功能評估（NFE）取得了最先進的影像生成效能。然而，傳統的漂移模型僅使用單一的漂移項，可能無法充分利用高階梯度資訊。
為了解決這一侷限，研究者提出了“前瞻漂移模型”。該模型在每次訓練迭代中順序計算一組漂移項，而並非僅計算一個。每個漂移項的生成都依賴於之前計算的漂移項、正樣本以及當前模型的輸出。這種迭代式的計算方式使得後階段的漂移項能夠捕獲朝向正樣本的高階梯度資訊，從而提升模型的最佳化效率。具體而言，模型透過將輸出推向這些漂移項加權和的方向來進行引數更新。
實驗部分，研究者首先在玩具示例上驗證了方法的有效性，隨後在CIFAR10資料集上進行影像生成任務測試。結果表明，與基線漂移模型相比，前瞻漂移模型在生成質量上取得了顯著提升，FID分數等指標均有所改善。該工作為高效分佈對映提供了一種新思路，有望在影像生成、強化學習等需要從複雜分佈中取樣的領域得到應用。