本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

言語フローを導く方法:Appleのprobe guidanceが拡散言語モデルの新SOTAを達成

記事の要約

Appleの研究チームは、既存の拡散モデルの凍結された内部状態から誘導信号を構築する「probe guidance」を発表した。推論時の追加フォワードパスを不要にし、連続拡散言語モデルの無条件生成で新たなSOTAを達成。1.7Bモデルの多肢選択QAも改善し、autoguidanceの実際の仕組みに関する知見も示した。

言語フローを導く方法:Appleのprobe guidanceが拡散言語モデルの新SOTAを達成
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Appleの研究チームは2026年9月、「How to Guide Your Language Flow」と題する論文を公開し、フローマッチングモデルを誘導する新しい手法を提案した。著者らはこれをprobe guidanceと呼んでいる。基本原理はautoguidanceに近いが、既存の拡散モデルにおける凍結された内部状態を利用して誘導信号を構築する点が異なり、推論時に追加のフォワードパスを必要としない。また、弱いモデルと強いモデルが似たダイナミクスを共有することを確実にするための信頼できる経路も提供する。

著者はRohit Dilip、Tianrong Chen、Yuyang Wang、David Van Valen、Josh Susskind、Miguel Angel Bautista。Rohit DilipとDavid Van ValenはCaltechに所属し、Rohit Dilipの研究はApple在籍中に行われた。

研究チームはこの手法を連続拡散言語モデルに適用し、無条件生成において新たなstate-of-the-artを達成した。パラメータ数1.7Bの拡散言語モデルにprobe guidanceを適用すると、多肢選択式の質問応答ベンチマークでも一貫した改善が見られた。これは、この誘導手法が生成品質だけでなく、理解型タスクにおけるモデル性能も高められることを示している。

さらに、これらのprobesを用いて、強いモデルを弱いモデルのチェックポイントとする従来のautoguidance設定を検討した結果、弱いモデルは訓練における低エントロピー領域から来る必要があることが分かった。この発見は、拡散言語モデルを改善する実用的な手段を与えると同時に、現在十分に理解されていないautoguidanceの実際のメカニズムの解明にも寄与する。

この研究は、Appleの拡散言語モデルに関する他の取り組みとも呼応する。2025年10月13日に発表されたFS-DFMは、少ステップ拡散による高速かつ正確な長文生成を目指しており、自己回帰言語モデルが強い尤度を示す一方で1回のフォワードパスにつき1トークンしか生成できずスループットが制限され長い系列で遅延が増大すること、また標準的な離散拡散では高品質に達するまでに数百から数千回のモデル評価が必要になることを指摘している。2025年4月16日の研究は、自己回帰モデルからの適応によって拡散言語モデルをスケールさせる方法を探り、拡散言語モデルが自己回帰モデルに比べて小規模でしか研究されておらず言語モデリングベンチマークでの公平な比較を欠いていること、さらに大規模なゼロからの訓練が依然として難しいことを指摘している。これらは、離散拡散の推論ステップ数の多さや大規模訓練の困難さにそれぞれ対処し、テキスト生成の新たなパラダイムとしての拡散言語モデルの実現可能性を押し進めている。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • probe guidanceは拡散モデルの凍結内部状態から誘導信号を作り、推論時の追加フォワードパスを不要にしつつ弱いモデルと強いモデルのダイナミクスを確実に揃える
  • 連続拡散言語モデルの無条件生成で新SOTAを達成し、1.7Bモデルの多肢選択QAベンチマークも一貫して改善
  • 弱いモデルは訓練の低エントロピー領域に由来する必要があると判明し、autoguidanceのメカニズム理解に貢献

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。