近年、「先読みドリフトモデル」と題された論文が発表され、分布マッピングの新しい手法が提案されました。「ドリフトモデル」は、各訓練イテレーションでドリフト項を計算し、モデルの出力をその方向に押し出すパラダイムであり、ImageNet上で1ステップのニューラル関数評価(NFE)により最先端の画像生成性能を達成しています。このパラダイムは、生成モデルの効率性を大幅に向上させる可能性を秘めています。
本研究では、従来のドリフトモデルを拡張した「先読みドリフトモデル」を提案しています。提案手法では、各訓練イテレーションで複数のドリフト項を逐次的に計算します。各ドリフト項は、以前に計算された項、正例、およびモデルの出力を利用して算出されます。この逐次計算により、後段のドリフト項は正例に向かう高次勾配情報を効果的に捉えることができます。最終的に、モデルはこれらのドリフト項の重み付き和の方向に出力を最適化します。
実験では、まずおもちゃの例で概念実証を行い、その後CIFAR10データセットで画像生成タスクを実施しました。結果は、提案手法が従来のベースラインモデルを上回る性能を示し、特にFIDスコアなどの指標で改善が確認されました。この研究は、効率的な分布マッピングの新たな道を開き、画像生成や強化学習など確率分布のサンプリングが重要な分野への応用が期待されます。