面向電信客服的小語言模型引數高效微調：基於LoRA配置與能耗分析的比較研究
該論文系統研究了使用低秩適應（LoRA）對Qwen2.5-3B進行引數高效微調，以構建電信客服領域的專用對話助手。研究引入了組合式合成資料生成方法，評估了16種LoRA配置，揭示了定量驗證損失與定性人工對齊排名之間的差異，並提供了能耗-效能權衡分析。
在電信客服領域，由於資料主權、監管限制以及敏感客戶和網路資訊的處理，使用外部託管的基礎模型面臨諸多挑戰。為了應對這些問題，一項新研究系統性地探索了引數高效微調（PEFT）技術，特別是低秩適應（LoRA），將其應用於Qwen2.5-3B模型，以構建一個面向電信客服的專用對話助手。
研究團隊提出了一種基於52個行業術語的合成資料生成方法。他們利用Gemini 2.0 Flash驅動的生成管道，透過組合這些術語，產生了大約30,000個訓練樣本，覆蓋了1,560種不同的問題場景。這種方法能夠系統地涵蓋電信客服中常見的各種問題，從而確保模型在真實場景中的適用性。
在微調過程中，研究者選擇了16種不同的LoRA配置，透過改變超引數（例如秩、縮放因子）以及目標模組（如注意力層或前饋層）來尋找最佳設定。評估不僅採用了標準的驗證損失指標，還創新性地引入了能耗分析，並利用GPT-5.2和Claude 4.5 Sonnet作為評判者進行定性評估，以對齊人類偏好。
結果令人驚訝：定量表現和定性表現之間存在明顯分歧。驗證損失最低的模型（損失值為0.5024）在定性評估中僅排名第6-7位，而驗證損失最高的模型（損失值為0.6807）卻被兩位AI評判者一致評為第一名。這表明，在對話AI中，僅僅依賴驗證損失來選擇微調配置是不夠的，還需要考慮其他因素如能耗和實際對話質量。
這項工作的主要貢獻包括：一種組合式合成資料集構建方法，為低資源領域的資料生成提供了新思路；對LoRA注入目標模組選擇影響的深入洞察，揭示了不同模組對模型效能的影響差異；證明驗證損失在對話AI微調中的侷限性，為未來的評估標準提供了重要參考；以及能耗-效能權衡分析，為可持續的LLM部署提供了實用指導。對於電信運營商而言，這項研究提供了一種在保護資料隱私的同時，最佳化客服AI效能和效率的有效方法。