マルチヘッド潜在アテンション（MLA）は、長いコンテキストを持つ大規模言語モデルの推論で重要性を増している。従来のキーバリュー（KV）キャッシュはシーケンス長に応じて増大するが、MLAはコンパクトな潜在状態でアテンションのKVを表現するため、デコード時のメモリ使用量とメモリアクセスを大幅に削減できる。一方、現在の高性能なオープンなチェックポイントの多くはマルチヘッドアテンション（MHA）またはグループ化クエリアテンション（GQA）を採用しており、MLAのキャッシュ効率を活用するにはモデル変換が必要になる。ゼロから再トレーニングするのはコストが高すぎる。
投機的デコードは、小型のドラフトモデルが候補トークンを生成し、ターゲットモデルがそれを並行検証するという補完的な高速化手法である。その高速化効果は、ドラフトの提案とターゲットの検証がどの程度一致するかに依存する。論文では、MHA/GQAからMLAへの直接変換がこの一致度を大きく損なうことを示している。低ランク分解と回転位置符号化（RoPE）の扱いによりアテンション関数に誤差が生じ、これは単体の生成では許容できる場合があるものの、投機的デコードではドラフトトークンの受理率を著しく低下させる。
著者らは、MLAドラフトの構築をキャッシュ圧縮ではなく「機能的再構築」として捉え直した。提案するエンドツーエンド（E2E）手法は、変換後の各MLAアテンションモジュールを最適化し、キャリブレーション用の隠れ状態に対して元のMHA/GQAモジュールの出力射影後の応答を再現する。この後変換手順は特定の変換器に依存せず、変換後のキャッシュと推論グラフを保持する。さらに、検証器のロジットや検証器による監督を一切必要としない。
実験では、Llama/Qwenのドラフト・ターゲット4組、TransMLAとMHA2MLAの2種類の変換器、Hugging Face TransformersとvLLMの2つのバックエンド、それぞれ200プロンプトからなる4つのタスクを用いて、合計192のモデル・変換器・バックエンド・手法・タスク構成を評価した。報告の許容差を0.5パーセントポイントとした場合、機能的再構築は64の整合タスクセルのうち37で実質的な改善を示し、26でほぼ変化がなく、1でのみ実質的な低下が見られた。
本論文（arXiv:2607.27269）は、Weiye Shi氏を含む3名の著者により2026年7月29日にarXivのcs.LGカテゴリへ投稿された。コードと評価用アーティファクトはGitHubで公開されており、コミュニティによる再現やさらなる研究が可能になっている。