面向電信客服的小語言模型參數高效微調：基於LoRA配置與能耗分析的比較研究
該論文系統研究了使用低秩適應（LoRA）對Qwen2.5-3B進行參數高效微調，以構建電信客服領域的專用對話助手。研究引入了組合式合成數據生成方法，評估了16種LoRA配置，揭示了定量驗證損失與定性人工對齊排名之間的差異，並提供了能耗-性能權衡分析。
在電信客服領域，由於數據主權、監管限制以及敏感客户和網絡信息的處理，使用外部託管的基礎模型面臨諸多挑戰。為了應對這些問題，一項新研究系統性地探索了參數高效微調（PEFT）技術，特別是低秩適應（LoRA），將其應用於Qwen2.5-3B模型，以構建一個面向電信客服的專用對話助手。
研究團隊提出了一種基於52個行業術語的合成數據生成方法。他們利用Gemini 2.0 Flash驅動的生成管道，通過組合這些術語，產生了大約30,000個訓練樣本，覆蓋了1,560種不同的問題場景。這種方法能夠系統地涵蓋電信客服中常見的各種問題，從而確保模型在真實場景中的適用性。
在微調過程中，研究者選擇了16種不同的LoRA配置，通過改變超參數（例如秩、縮放因子）以及目標模塊（如注意力層或前饋層）來尋找最佳設置。評估不僅採用了標準的驗證損失指標，還創新性地引入了能耗分析，並利用GPT-5.2和Claude 4.5 Sonnet作為評判者進行定性評估，以對齊人類偏好。
結果令人驚訝：定量表現和定性表現之間存在明顯分歧。驗證損失最低的模型（損失值為0.5024）在定性評估中僅排名第6-7位，而驗證損失最高的模型（損失值為0.6807）卻被兩位AI評判者一致評為第一名。這表明，在對話AI中，僅僅依賴驗證損失來選擇微調配置是不夠的，還需要考慮其他因素如能耗和實際對話質量。
這項工作的主要貢獻包括：一種組合式合成數據集構建方法，為低資源領域的數據生成提供了新思路；對LoRA注入目標模塊選擇影響的深入洞察，揭示了不同模塊對模型性能的影響差異；證明驗證損失在對話AI微調中的侷限性，為未來的評估標準提供了重要參考；以及能耗-性能權衡分析，為可持續的LLM部署提供了實用指導。對於電信運營商而言，這項研究提供了一種在保護數據隱私的同時，優化客服AI性能和效率的有效方法。