面向电信客服的小语言模型参数高效微调：基于LoRA配置与能耗分析的比较研究

在电信客服领域，由于数据主权、监管限制以及敏感客户和网络信息的处理，使用外部托管的基础模型面临诸多挑战。为了应对这些问题，一项新研究系统性地探索了参数高效微调（PEFT）技术，特别是低秩适应（LoRA），将其应用于Qwen2.5-3B模型，以构建一个面向电信客服的专用对话助手。

研究团队提出了一种基于52个行业术语的合成数据生成方法。他们利用Gemini 2.0 Flash驱动的生成管道，通过组合这些术语，产生了大约30,000个训练样本，覆盖了1,560种不同的问题场景。这种方法能够系统地涵盖电信客服中常见的各种问题，从而确保模型在真实场景中的适用性。

在微调过程中，研究者选择了16种不同的LoRA配置，通过改变超参数（例如秩、缩放因子）以及目标模块（如注意力层或前馈层）来寻找最佳设置。评估不仅采用了标准的验证损失指标，还创新性地引入了能耗分析，并利用GPT-5.2和Claude 4.5 Sonnet作为评判者进行定性评估，以对齐人类偏好。

结果令人惊讶：定量表现和定性表现之间存在明显分歧。验证损失最低的模型（损失值为0.5024）在定性评估中仅排名第6-7位，而验证损失最高的模型（损失值为0.6807）却被两位AI评判者一致评为第一名。这表明，在对话AI中，仅仅依赖验证损失来选择微调配置是不够的，还需要考虑其他因素如能耗和实际对话质量。

这项工作的主要贡献包括：一种组合式合成数据集构建方法，为低资源领域的数据生成提供了新思路；对LoRA注入目标模块选择影响的深入洞察，揭示了不同模块对模型性能的影响差异；证明验证损失在对话AI微调中的局限性，为未来的评估标准提供了重要参考；以及能耗-性能权衡分析，为可持续的LLM部署提供了实用指导。对于电信运营商而言，这项研究提供了一种在保护数据隐私的同时，优化客服AI性能和效率的有效方法。