RSLoRA：通过表示敏感性探测进行LoRA免训练秩分配

低秩适配（LoRA）已成为参数高效微调（PEFT）的基石技术，然而传统的统一秩分配方法忽略了神经层功能的异质性。现有的秩分配方法通常面临计算强度与启发式简单性之间的权衡：基于训练的方法开销过高，而预分配方法无法捕捉动态任务特定的表示流形。为了解决这一问题，来自Jiaqi Liu等人的研究团队提出了RSLoRA（Representational Sensitivity LoRA），一种由激活空间几何驱动的免训练、免梯度秩分配器。该方法识别了跨层的“敏感性机制转变”，观察到静态权重分析和局部梯度不足以反映更新如何重塑模型的内部表示。RSLoRA引入了一种虚拟表示探测机制，通过模拟结构化低秩噪声的适配过程，并利用有效秩（Effective Rank）和弗雷歇距离（Fréchet Distance）测量由此产生的流形位移，从而识别需要更高秩容量的高敏感性模块。该框架有效弥合了专家设计的启发式方法与实际表示影响之间的差距。大量评估表明，RSLoRA在多个主流基准测试中持续优于最先进的分配器，如AdaLoRA和GoRA。通过消除迭代训练时调整和反向梯度的需求，RSLoRA为大规模模型适配提供了一种高效、鲁棒且表示感知的解决方案。该研究论文于2026年7月5日提交至arXiv，编号2607.09757，共16页并包含3幅图表。论文主题涵盖计算机视觉（cs.CV）和人工智能（cs.AI）。研究者强调，该方法不仅在性能上超越现有技术，还显著降低了计算开销，使得在实际部署中更容易应用。未来，RSLoRA有望成为大模型微调中秩分配的标准工具。