超越LoRA：你能击败最流行的微调技术吗？
LoRA是目前最流行的参数高效微调（PEFT）技术，但研究表明其他方法在某些任务上表现更好。本文介绍了Hugging Face的PEFT库及其基准测试，探讨了如何根据具体需求选择合适的PEFT技术，并指出LoRA并非总是最佳选择。
当您计划以参数高效的方式微调模型时，不要局限于LoRA。LoRA（Low-Rank Adaptation）是参数高效微调（PEFT）技术中最流行的一种，但研究表明，其他方法可能在某些任务上表现更好。Hugging Face的PEFT库实现了多种PEFT技术，并提供统一的API和基准测试，帮助用户做出明智选择。
PEFT技术通过仅微调少量参数，显著降低内存需求，同时支持量化和多任务微调。LoRA之所以流行，部分原因是它早期出现并得到广泛支持，但这也可能导致用户忽略更好的选择。论文中声称优于LoRA的技术很多，但由于研究偏差和可比性不足，这些结果往往不可靠。例如，一项研究发现，仅通过调整学习率，LoRA就能匹配那些声称更好的PEFT技术（https://arxiv.org/abs/2602.04998）。
Hugging Face的PEFT基准测试在相同条件下评估多种技术，包括测试性能、内存使用、运行时间和检查点大小。针对LLM数学推理（MetaMathQA）和图像生成（猫玩偶数据集）任务的测试显示，LoRA虽然表现不错，但并非在所有指标上都最优。在数学任务中，LoRA（使用秩稳定初始化）达到53.2%的测试准确率，峰值内存22.6 GB；而Lily达到54.9%准确率但需要25.6 GB内存，BEFT仅需20.2 GB内存但准确率为32.9%。普通LoRA（未优化）仅达到48.1%准确率。在图像生成任务中，OFT在相似度得分（0.708对0.697）和内存使用（9.01 GB对9.97 GB）上均优于LoRA。
因此，用户应根据自己的优先级（如准确性、内存、速度等）选择PEFT技术。PEFT库允许用户轻松对比不同技术，并贡献自己的实验。总之，不要默认选择LoRA，探索其他可能性可能会带来更好的结果。需要注意的是，基准测试的超参数选择可能影响结果，但社区可以通过贡献来改进。