近日，一篇题为《FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning》的论文在 arXiv 上发布，作者包括 Yequan Zhao 等六人。该研究指出，无论是全量微调还是 LoRA 等参数高效微调方法，在更新权重时都没有考虑预训练阶段形成的谱结构。当微调数据有限时，带有噪声的梯度会扰动预训练模型已经学到的鲁棒特征。研究者将谱预条件视为缺失的关键环节：通过对每个权重矩阵进行全秩奇异值分解（SVD），并冻结其中一个奇异基，可以将更新限制在预训练的列空间内，从而形成一种预条件优化方案。在相同可训练参数数量下，这种方案的表现优于无约束的全量微调。
基于这一洞察，研究团队提出了 FuRA（Full-Rank Adaptation），一种高效的全秩适配框架。该方法基于分块张量列车分解，将权重矩阵表示为 W = LSR。其中大型核心 L 被固定为预训练的分块 SVD 基，只有紧凑核心 R 和分块奇异值 S 参与优化。这种设计同时实现了全秩谱预条件、保留了全秩更新的表达能力，并且在参数、内存和单步时间效率上与 LoRA 相当。
实验结果表明，FuRA 在多种设置下均稳定超越全量微调。在 LLaMA-3-8B 的常识推理任务上，FuRA 比全量微调高出 1.37 分；在面向数学推理的 LLM 强化学习中，以及视觉语言模型（VLM）的视觉指令微调中，FuRA 同样表现更优。此外，4 位量化变体 QFuRA 也超过了 QLoRA。论文代码已在 GitHub 上公开，仓库地址为 https://github.com/olokevin/FuRA-NIPS。
该论文提交于 2026 年 5 月 19 日，属于机器学习（cs.LG）领域。研究的意义在于，它首次将谱预条件引入参数高效微调，为在有限数据下保持预训练特征稳定性提供了新的理论视角和实用工具。FuRA 的成功表明，通过尊重预训练权重的谱结构，可以同时获得全秩更新的表达能力和 LoRA 级别的效率，这可能会影响未来微调方法的设计方向。