大規模言語モデル（LLM）の推論効率は研究の焦点であり、KVキャッシュ技術はキーとバリューのペアをキャッシュすることで重複計算を回避し、生成プロセスを大幅に高速化します。しかし、従来のプレフィックスキャッシュは共有プレフィックスが完全に一致する場合にのみ再利用可能であり、フィールドが変更されるとダウンストリーム全体のキャッシュが無効になります。最新の研究「Models Take Notes at Prefill: KV Cache Can Be Editable and Composable」は、この現象の背後にある根本的な原因を明らかにし、KVキャッシュを編集可能かつ構成可能にする2つの革新的な能力を提案しています。
研究チームは4つのモデルファミリーにわたって因果分析を実施し、重要な発見をしました。プリフィル段階では、モデルは現在のフィールドを処理するだけでなく、そのフィールドに基づいた結論を後続の「ノート」に書き込んでいます。これらのノートが最終的な出力を決定し、フィールド自体のキー/バリューベクトルが決定に寄与する割合は1%未満です。そのため、フィールドのベクトルだけを上書きしてもダウンストリームキャッシュを保持すると、モデルは古い値に基づいて判断してしまいます。
この理解に基づき、研究者たちは2つの新しい能力を提案しました。まず編集可能性です。誤りを修正する必要がある場合、チェーン・オブ・ソート（Chain-of-Thought）を使用して関連フィールドを編集するだけで、モデルがノートを自動的に調整します。実験では、8Bモデルでチェーン・オブ・ソートを使用してフィールドを編集すると、完全に正しい決定を回復でき、追加の計算量は約1%でした。一方、チェーン・オブ・ソートを使わずにフィールドを直接変更しても、変更は無視されます。次に構成可能性です。ノートは位置に依存しないため、プリコンパイルされたスキル（特定の推論ステップなど）を回転位置エンコーディング（RoPE）で位置調整した後、任意のコンテキストにシームレスに挿入できます。この方法の時間計算量はO(L)であり、完全再計算のO(L²)と比較して大幅に効率的です。出力のロジットコサイン類似度は0.90から0.999であり、事実上区別がつきません。統一された編集・構成エージェントは完全再計算と決定が同一であり、レイテンシを最大14.9倍削減できます。
この手法の汎用性は印象的です。トークン単位のアテンションKVキャッシュを持つ任意のモデルに適用でき、異なるモデルサイズ、量子化バージョン、混合エキスパートモデル（MoE）、マルチモーダルキャッシュでも検証されています。小さなアダプターを介して、複数のアテンション変種にも拡張可能です。さらに、誤りの修正は追加方式で行われるため、本番環境のプレフィックスキャッシュと互換性があります。オンラインvLLMベンチマークでは、98.5%のプレフィックスキャッシュヒット率を維持し、p90のファーストトークン生成時間を53倍から398倍削減しました。
この研究はLLM推論の最適化に新たな道を開きます。KVキャッシュを編集可能かつ構成可能な「ノート」と見なすことで、決定品質を維持しながら効率を大幅に向上できます。今後、この手法はリアルタイムアプリケーション、モデル微調整シナリオ、限られた計算リソースでの大規模モデル展開において重要な役割を果たすことが期待されます。