自然言語処理の分野では、拡散言語モデルがマスクされたトークンを徐々にデノイズすることでテキストを並列生成する手法として注目を集めている。しかし、既存のデコーディング手法は生成品質と計算効率のバランスにおいて課題を抱えている。今回、arXivに投稿された論文は、拡散言語モデルにおける長距離依存性の欠如に対処する新しい適応型マルチステップ先読みフレームワーク「AdaLook」を提案する。
現在一般的な単一ステップ先読み手法は、次のステップの即時情報利得のみを考慮するため、長いシーケンス生成において最適でない決定を下す可能性がある。先読みステップを単純に拡張すれば改善されると思われるが、固定深度の先読みは余分な計算を招き、多様なデコーディング状態に適応できない。AdaLookは、候補スコアの分散に基づいて先読みを継続するかどうかを動的に判断する。分散が低い場合は状態が安定しているとみなして先読みを終了し、さらなる探索が必要な場合は中間状態からブランチ拡張をトリガーする。この適応設計により、不必要な深度計算を避けつつ、情報豊富な中間状態からデコーダが恩恵を受けられる。
実験では、複数のベンチマークデータセットと異なる規模の拡散言語モデルでAdaLookの性能が検証された。結果は、既存の単一ステップ先読み手法と比較して、同等以上の生成精度を維持しながら、デコードステップ数を大幅に削減することを示した。例えば、機械翻訳とテキスト要約タスクにおいて、AdaLookで生成されたテキストはBLEUスコアとROUGEスコアが向上し、デコード速度は約20%から30%向上した。また、候補スコア分散の閾値とブランチ拡張の有効性はアブレーション実験により確認された。
AdaLookは、拡散言語モデルのデコーディングに柔軟で効率的な新しいアプローチを提供する。その中核的なアイデア、すなわちリアルタイムのデコード状態に応じて探索深度を適応的に調整することは、他の並列生成パラダイムの最適化にも応用できる可能性がある。研究チームは今後、このフレームワークをより多くの拡散モデルに拡張し、他のデコード高速化技術との統合を探求する予定である。