電気通信カスタマーサポート分野では、大規模言語モデル（LLM）は強力な自然言語理解と生成能力を示すものの、領域固有の制約下での評価と適応は限られている。さらに、データ主権、規制上の制約、機密性の高い顧客情報やネットワーク情報の取り扱いが、この分野で外部ホスト型基盤モデルを利用することを複雑にしている。そこで本研究では、パラメータ効率の良いファインチューニング（PEFT）の一つである低ランク適応（LoRA）をQwen2.5-3Bに適用し、領域特化型の対話アシスタントを構築する系統的な検討を行った。
研究チームは組み合わせ型の合成データ生成手法を提案する。これは52の業界特化用語を含む用語集に基づき、Gemini 2.0 Flashを搭載した生成パイプラインを通じて、1,560の異なる問題シナリオにわたる約30,000件の訓練例を生成するものである。この手法は、電気通信カスタマーサポート領域におけるデータの希少性と機密性に対処しつつ、外部ホスト型モデルの直接利用に伴うデータ主権リスクを回避することを目的としている。
実験では、ハイパーパラメータと対象モジュールを変化させて16のLoRA構成を評価した。評価は標準的な指標にとどまらず、エネルギー消費分析と、GPT-5.2およびClaude 4.5 SonnetをジャッジとするLLM-as-a-judgeフレームワークによる定性評価を組み込んでいる。この多次元評価により、実際の対話シナリオにおけるモデルの性能を総合的に測定する。
結果は、定量的性能と定性的性能の間に明確な乖離があることを明らかにした。検証損失が最小のモデル（0.5024）は定性評価で6〜7位にとどまる一方、検証損失が最大のモデル（0.6807）が両ジャッジにより1位と評価された。これは、検証損失だけに基づいてファインチューニング構成を選択することが、人間の選好に沿った対話品質を反映しない可能性があることを示している。
本研究の貢献は四点ある。第一に組み合わせ型合成データセット構築手法の提案、第二にLoRA注入時の対象モジュール選択の影響に関する知見、第三に検証損失のみでは対話AIのファインチューニング構成選択に不十分であるという証拠の提示、第四に持続可能なLLM展開に向けたエネルギー・性能トレードオフ分析である。これらの知見は、規制の厳しい業界において効率的でコンプライアンスに適合し、持続可能な対話AIシステムを展開する上で重要な指針となる。