TransformerはさまざまなAIタスクにおける標準的な手法となり、その中核をなすのがクエリ・キー・バリュー（QKV） attentionの定式化である。しかし、これら三つの射影がそれぞれどれだけ寄与しているのか、また一部を省略した場合に何が起きるのかは、十分に理解されていない。論文「Do Transformers Need Three Projections? Systematic Study of QKV Variants」はこの問いを体系的に検討したもので、Ali Kayyam氏ら3名による研究成果であり、ICML 2026に採択され（PMLR第306巻）、本文26ページ、図12点、表16点からなり、コードもGitHubで公開されている。
研究では三つの射影共有制約を評価している。第一はQ-K=V、すなわちキーとバリューで射影を共有する方式（共有キー・バリュー）。第二はQ=K-V、すなわちクエリとキーで射影を共有する方式（共有クエリ・キー）。第三はQ=K=V、すなわち単一射影で三つすべてを共有する方式である。著者らは、後ろ二つの変種が対称なattentionマップを生み出す点を指摘し、これに対処するため二次元位置エンコーディングを用いた非対称attentionの可能性も探索している。
実験は広範に及ぶ。合成タスクに加え、視覚タスク（MNIST、CIFAR、TinyImageNet、異常検知）と、3億パラメータおよび12億パラメータのモデルを100億トークンで学習する言語モデリングを対象とした。その結果、射影共有を用いたTransformerは標準的なQKV Transformerと同等、あるいは時に上回る性能を示した。言語モデリングでは、Q-K=Vの射影共有によりKVキャッシュを50%削減しつつ、perplexityの劣化はわずか3.1%にとどまった。
さらに重要な点として、射影共有はヘッド共有（GQA/MQA）と補完関係にある。Q-K=VをGQA-4と組み合わせるとキャッシュ削減率は87.5%に達し、Q-K=VとMQAの組み合わせでは96.9%に達するため、オンデバイス推論が現実的になる。著者らは、Q-K=Vが品質を維持できる理由を、キーとバリューが類似した表現空間を占め得ること、そしてattentionが低ランク領域で動作することに求めている。一方、Q=K-Vはattentionの方向性を損なうため性能が低下するという。
総じて本研究は、射影共有をattentionにおける未探索の重み共有（weight tying）の一形態として体系的に位置づけ、特にエッジ展開に有用な、定量的に測定可能な推論メモリ削減効果を示した。論文は2026年6月1日にarXivへ投稿され（番号2606.04032）、機械学習（cs.LG）に分類されつつ、人工知能、計算と言語、性能といった分野にもまたがっている。