Transformer 已成为各类人工智能任务的标准方案，而查询、键、值（QKV）注意力机制是其中的核心。不过，这三个投影各自贡献了什么、省略其中一些又会带来何种影响，学界仍缺乏系统理解。论文《Do Transformers Need Three Projections? Systematic Study of QKV Variants》对此展开了系统研究，作者为 Ali Kayyam 等三人，该工作已被 ICML 2026 接收（PMLR 第 306 卷），全文共 26 页、12 幅图、16 张表，代码已在 GitHub 公开。
研究评估了三种投影共享约束：其一为 Q-K=V，即键与值共享投影（共享键值）；其二为 Q=K-V，即查询与键共享投影（共享查询-键）；其三为 Q=K=V，即三者共用单一投影。作者指出，后两种变体会产生对称的注意力图，从而可能削弱注意力的方向性信息，因此他们进一步引入二维位置编码，探索非对称注意力的实现方式。
实验覆盖范围相当广：既包括合成任务，也涉及视觉任务（MNIST、CIFAR、TinyImageNet 以及异常检测），还包括语言建模，其中语言模型规模为 3 亿与 12 亿参数、训练数据为 100 亿 token。结果显示，采用投影共享的 Transformer 表现与标准 QKV transformer 持平，有时甚至略优。在语言建模中，Q-K=V 共享方案可实现 50% 的 KV 缓存缩减，而困惑度仅下降 3.1%。
更关键的是，投影共享与头共享（GQA/MQA）具有互补性。将 Q-K=V 与 GQA-4 结合，可获得 87.5% 的缓存缩减；而 Q-K=V 与 MQA 结合则达到 96.9%，使端侧实际推理成为可能。作者解释，Q-K=V 之所以能保持质量，是因为键与值可以占据相似的表示空间，且注意力本身运行在低秩区间；相反，Q=K-V 会破坏注意力的方向性，因而效果不佳。
总体而言，该研究将投影共享系统刻画为注意力中一种尚未被充分探索的权重绑定（weight tying）形式，并给出可直接量化、尤其适用于边缘部署的推理内存收益。论文于 2026 年 6 月 1 日提交至 arXiv（编号 2606.04032），归类于机器学习（cs.LG），同时涉及人工智能、计算与语言以及性能等方向。