近年、拡散言語モデル（Diffusion Language Models, DLM）は新たな生成モデルとして注目を集めている。従来の自己回帰型言語モデルとは異なり、DLMは双方向アテンション機構を採用しているため、推論時に文脈全体を同時に考慮できる一方、効率的なサービングに新たな課題をもたらす。特に、キー・バリュー（KV）キャッシュは大規模言語モデル（LLM）のサービングスループットを向上させる重要な技術であり、共有プレフィックス（システムプロンプトや共通指示など）の処理において繰り返し計算を避ける効果がある。しかし、既存のLLM向けキャッシュ技術をDLMに直接適用すると深刻な問題が生じる。双方向アテンションのため、任意のトークンの更新が文脈全体とそれに対応するKVを動的に変化させる。その結果、KVが一度計算されれば不変であると仮定する従来のキャッシュ手法は共有プレフィックスのKVを破壊し、モデルの精度をほぼゼロにまで低下させてしまう。
このボトルネックに対処するため、Younghun Goらによる論文「Enabling KV Caching of Shared Prefix for Diffusion Language Models」は、bicacheと呼ばれる、DLM専用に設計された初の共有プレフィックスKVキャッシュ技術を提案している。この技術は、DLMの内部機構に関する詳細な分析に基づいている。研究によれば、モデルの浅層では共有プレフィックスのKV表現が比較的安定しており再利用可能であるが、その「浅層」の具体的な深さは、各リクエストにおける共有プレフィックストークンの割合に依存する。この観察に基づき、bicacheはリクエストごとに安全な層の深さを動的に識別し、その深さ以内で共有プレフィックスのKVを再利用することで、冗長な計算を排除しつつ、後続層での文脈の一貫性を損なわないようにする。
bicacheの有効性を検証するため、著者らは包括的な実験評価を実施した。その結果、既存技術と比較して、bicacheは精度の崩壊を引き起こすことなく（精度差はわずか0～1.8%）、サービングスループットを36.3%から98.3%まで大幅に向上させることが示された。この成果は、DLMの実環境における高スループット展開を推進する上で重要な意味を持ち、今後の研究に新たな方向性を提供する。なお、本論文はarXivに収録されており（番号2606.07571）、機械学習（cs.LG）および人工知能（cs.AI）の分野に属する。