Appleの研究チームは2026年9月、「How to Guide Your Language Flow」と題する論文を公開し、フローマッチングモデルを誘導する新しい手法を提案した。著者らはこれをprobe guidanceと呼んでいる。基本原理はautoguidanceに近いが、既存の拡散モデルにおける凍結された内部状態を利用して誘導信号を構築する点が異なり、推論時に追加のフォワードパスを必要としない。また、弱いモデルと強いモデルが似たダイナミクスを共有することを確実にするための信頼できる経路も提供する。
著者はRohit Dilip、Tianrong Chen、Yuyang Wang、David Van Valen、Josh Susskind、Miguel Angel Bautista。Rohit DilipとDavid Van ValenはCaltechに所属し、Rohit Dilipの研究はApple在籍中に行われた。
研究チームはこの手法を連続拡散言語モデルに適用し、無条件生成において新たなstate-of-the-artを達成した。パラメータ数1.7Bの拡散言語モデルにprobe guidanceを適用すると、多肢選択式の質問応答ベンチマークでも一貫した改善が見られた。これは、この誘導手法が生成品質だけでなく、理解型タスクにおけるモデル性能も高められることを示している。
さらに、これらのprobesを用いて、強いモデルを弱いモデルのチェックポイントとする従来のautoguidance設定を検討した結果、弱いモデルは訓練における低エントロピー領域から来る必要があることが分かった。この発見は、拡散言語モデルを改善する実用的な手段を与えると同時に、現在十分に理解されていないautoguidanceの実際のメカニズムの解明にも寄与する。
この研究は、Appleの拡散言語モデルに関する他の取り組みとも呼応する。2025年10月13日に発表されたFS-DFMは、少ステップ拡散による高速かつ正確な長文生成を目指しており、自己回帰言語モデルが強い尤度を示す一方で1回のフォワードパスにつき1トークンしか生成できずスループットが制限され長い系列で遅延が増大すること、また標準的な離散拡散では高品質に達するまでに数百から数千回のモデル評価が必要になることを指摘している。2025年4月16日の研究は、自己回帰モデルからの適応によって拡散言語モデルをスケールさせる方法を探り、拡散言語モデルが自己回帰モデルに比べて小規模でしか研究されておらず言語モデリングベンチマークでの公平な比較を欠いていること、さらに大規模なゼロからの訓練が依然として難しいことを指摘している。これらは、離散拡散の推論ステップ数の多さや大規模訓練の困難さにそれぞれ対処し、テキスト生成の新たなパラダイムとしての拡散言語モデルの実現可能性を押し進めている。