SENSE: 検索ベース投機的復号のためのセマンティック埋め込みナビゲーションとソフトゲート評価

投機的復号（Speculative Decoding, SD）は、大規模言語モデル（LLM）の推論を高速化するための有効な手法として広く注目されている。その基本的な仕組みは、軽量なドラフトモデルが素早く一連の候補トークンを生成し、ターゲットモデルがそれらを並行して検証することで、生成品質を損なうことなく推論速度を向上させるというものである。多くのSD手法の中で、検索ベース投機的復号（Retrieval-based Speculative Decoding, RSD）は追加学習が不要でプラグアンドプレイとして利用できるため、特に好まれている。しかし、従来のRSD手法には根本的な問題がある。それは、検索と検証のプロセスが語彙レベルの正確な一致に強く依存しているため、同義語の置換や語順の変更などの表面的な変動に対して脆弱であるということだ。

この課題に取り組むため、研究者Shaowen Chenらのチームは、SENSE（Semantic Embedding Navigation with Soft-gated Evaluation）と呼ばれる新しい手法を提案した。SENSEの中核となるアイデアは、検索プロセスを語彙レベルから意味レベルに引き上げることである。具体的には、ターゲットモデルの隠れ状態を検索のアンカーとして利用し、意味埋め込み間の類似度を計算することで、現在の生成コンテキストに関連する候補トークンを見つけ出す。この意味ベースの検索方式は、文の表面的な形式ではなく意味を捉えることができるため、自然言語の表現の多様性に対して頑健である。さらに、SENSEはソフトゲート評価（Soft-gated Evaluation）モジュールを導入している。このモジュールは、候補トークンとターゲットトークンの一致度を考慮するだけでなく、ゲート機構を通じて評価基準を動的に調整し、意味的等価性をより正確に判断する。

SENSEの有効性を検証するため、研究チームは厳格な実験を行った。既存の複数のRSD手法を統一された原子プリミティブに分解し、コンポーネントレベルでの公平な比較を可能にした。実験は複数の分野のデータセットをカバーし、LLaMAおよびQwenの主要なモデルファミリーでテストされた。結果は、SENSEが複数のベースライン手法の中で最良の性能を示し、平均受理長が4.09、高速化率が最大3.26倍に達し、生成品質は元のモデルと同等であることを示している。これは、実際のアプリケーションにおいて、SENSEが推論の遅延と計算リソースの消費を大幅に削減できることを意味し、特に高速応答が求められるシナリオに適している。

SENSEの論文は2026年4月14日にarXivプレプリントプラットフォームに提出され、計算と言語（cs.CL）、人工知能（cs.AI）、機械学習（cs.LG）のサブフィールドに分類されている。研究チームは、関連するコードを論文の正式公開後にオープンソース化する予定である。SENSEの提案は、従来のRSD手法の語彙依存の問題を解決するだけでなく、将来の推論高速化研究に新たな方向性を提供する。