電気通信カスタマーサポートのためのSLMのPEFT：LoRA構成とエネルギー消費分析の比較研究
低ランク適応（LoRA）をQwen2.5-3Bに適用したパラメータ効率的ファインチューニング（PEFT）の体系的研究で、電気通信カスタマーサポート向けのドメイン固有対話アシスタントを構築。組み合わせ型合成データ生成手法を導入し、16のLoRA構成を評価。定量的検証損失と定性的ヒトアライメント評価の乖離を明らかにし、エネルギー-パフォーマンストレードオフ分析を提供。
電気通信カスタマーサポートの分野では、データ主権、規制制約、機密の顧客・ネットワーク情報の取り扱いにより、外部ホスト型基盤モデルの利用が困難です。この課題に対処するため、新たな研究では、パラメータ効率的ファインチューニング（PEFT）技術、特に低ランク適応（LoRA）をQwen2.5-3Bに適用し、ドメイン固有の対話アシスタントを構築する方法を体系的に調査しました。
研究チームは、52の業界固有用語のグロッサリに基づく組み合わせ型合成データ生成手法を提案し、Gemini 2.0 Flashを活用した生成パイプラインにより、1,560の異なる問題シナリオにわたる約30,000のトレーニング例を作成しました。この方法により、電気通信カスタマーサポートで一般的な多様な問題を体系的にカバーできます。
ファインチューニングでは、ハイパーパラメータとターゲットモジュールを変化させた16のLoRA構成を評価しました。評価は標準的な検証損失指標に加え、エネルギー消費分析と、GPT-5.2およびClaude 4.5 Sonnetを用いたLLM-as-a-judgeフレームワークによる定性評価を含んでいます。
結果は、定量性能と定性性能の間に明確な乖離があることを示しました。最低検証損失（0.5024）を達成したモデルは定性評価で6-7位に留まり、最高損失（0.6807）のモデルが両方の評価者から1位と評価されました。これは、会話型AIにおいて検証損失のみでファインチューニング構成を選択することの不十分さを示しています。
この研究の貢献は、(1) 合成データセット構築のための組み合わせ手法、(2) LoRA注入のターゲットモジュール選択の影響に関する洞察、(3) 会話型AIにおける検証損失のみでの構成選択の限界の証拠、および(4) 持続可能なLLM展開のためのエネルギー-パフォーマンストレードオフ分析です。電気通信事業者にとって、この研究はデータプライバシーを保護しつつカスタマーサポートAIを最適化するための手法を提供します。