在电信客户支持领域，大型语言模型（LLM）虽然展现出强大的自然语言理解与生成能力，但其在领域特定约束下的评估与适配仍然有限。此外，数据主权、监管限制以及敏感客户与网络信息的处理，使得在该领域使用外部托管的基础模型变得复杂。为此，一项新研究对参数高效微调（PEFT）进行了系统探索，具体采用低秩适应（LoRA）技术对 Qwen2.5-3B 模型进行微调，以构建领域特定的对话助手。
研究团队提出了一种组合式合成数据生成方法。该方法基于一个包含 52 个行业特定术语的词汇表，利用 Gemini 2.0 Flash 驱动的生成流水线，生成了约 30,000 条训练样本，覆盖 1,560 个不同的问题场景。这一方法旨在解决电信客服领域数据稀缺且敏感的问题，同时避免直接使用外部托管模型带来的数据主权风险。
在实验部分，研究者评估了 16 种 LoRA 配置，通过调整超参数和目标模块来观察性能变化。评估不仅采用标准量化指标，还引入了能耗分析和基于 LLM-as-a-judge 框架的定性评估，其中评委模型为 GPT-5.2 和 Claude 4.5 Sonnet。这种多维度评估方式旨在全面衡量模型在实际对话场景中的表现。
结果揭示了一个重要现象：量化性能与定性性能之间存在明显分歧。验证损失最低的模型（0.5024）在定性评估中仅排名第 6-7 位，而验证损失最差的模型（0.6807）却被两位评委一致评为第一。这表明，仅依靠验证损失来选择微调配置可能无法反映模型在人类对齐对话中的真实质量。
该研究的贡献包括四个方面：一是提出了一种组合式合成数据集构建方法；二是深入分析了 LoRA 注入时目标模块选择的影响；三是提供了证据表明验证损失不足以作为对话 AI 微调配置的选择依据；四是进行了能耗-性能权衡分析，为可持续的 LLM 部署提供参考。这些发现对于在受监管行业中部署高效、合规且可持续的对话 AI 系统具有重要指导意义。