PermDoRA——理解语言模型中的适配器干扰：参数空间几何的局限性
这篇论文于2026年6月9日提交至arXiv（编号2606.11262），研究团队包括Gowtham Sivaramakrishnan、Sarvesha Kumar Kombaiah Seetha、Kishan Gupta Balaji与Santhosh Baradwaj Vaduvur Ranganathan。论文共18页，被COLM 2026接收，归类为机器学习（cs.LG）与人工智能（cs.AI）领域。
研究从一个实际问题出发：在大型语言模型（LLM）中实现访问控制，需要模块化的机制，使模型能够针对特定领域表现出相应行为，同时既不重新训练模型，也不引入跨领域的干扰。此前一个流行的假设认为，适配器组合过程中的干扰来源于线性参数更新的重叠，因此只要强制实施正交性或者方向上的独立性，就应当能提升多领域性能。
为检验这一假设，作者构建了DoRA-RBAC，这是一个基于权重分解低秩适配（weight-decomposed low-rank adaptation）的分层适配器组合框架。随后他们在LLaMA-3.1-8B与Mistral-7B两种模型上，围绕GPQA、PubMedQA、SimpleQA和WMDP等多个问答基准，比较了两种合并策略：一种是传统的欧几里得合并，另一种是受黎曼几何启发的、几何感知的合并方法。后者通过归一化方向平均来近似Frechet均值。
实验结果颇具启发性。在单一领域内，DoRA-RBAC的表现与LoRA相当；但在多领域场景下，几何感知的合并没有比标准平均法带来任何稳定的优势。诊断分析进一步显示，适配器更新的角度对齐程度以及正交性，都只是组合性能的弱预测指标。
基于这些发现，作者给出的结论是：适配器干扰主要并不是由参数空间的几何结构所决定，而更可能与共享非线性表示之间的相互作用有关。换句话说，单纯关注线性参数更新的方向关系，并不足以解释或解决多适配器组合过程中的性能损失问题。
这一结论对模块化LLM访问控制的研究方向具有直接意义。它提示后续工作应当把注意力从参数空间的几何约束，转向对模型内部共享表示如何相互影响的更细致理解。论文的提交时间为2026年6月9日02:52:48 UTC，相关代码与数据等链接信息在arXiv页面上也有列出。