クロスドメイン選好適応のためのMeta-LoRA学習によるLLMパーソナライゼーション
本論文は、LLMのクロスドメインゼロショット・少数ショットパーソナライゼーションのためのPAC-Bayes正則化Meta-LoRAを提案する。メタ学習されたLoRA初期化を開始点かつ事前分布の中心とし、サポートセットの規模と予測不確実性に応じて更新強度を調整することで過学習を抑え、ユーザー選好とドメイン選好を機能的に分離する。複数ベンチマークで強いベースラインを上回り、HiCUPIDではクロスドメイン勝率低下を47.9%削減、未知ユーザーのコールドスタートで勝率を110.2%向上した。
クロスドメインのゼロショット・少数ショットパーソナライゼーションは、大規模言語モデル（LLM）の応用において重要な課題である。目的は、対象となる会話ドメインのインタラクションがごく少数しかない状況で、未見のドメインにおいてもユーザーが好む応答を生成することである。しかし既存の適応手法は、疎な証拠のもとで更新の大きさを適切に調整できず、過学習を起こしやすい。一方で履歴転移型の手法は、ユーザー選好とソースドメイン固有のアーティファクトが混ざってしまい、信頼できる個人化の事前知識を得られず、負の転移を招くことが多い。
この問題に対し、本論文では PAC-Bayes 正則化 Meta-LoRA を提案する。この手法では、メタ学習された LoRA 初期化を適応の開始点かつ事前分布の中心として用いる。そして、サポートセットの規模と予測不確実性に基づいて更新の強さを調整する。これにより、証拠が乏しい場合や意味があいまいな場合には過学習を抑え、証拠が増えるにつれてより強いパーソナライゼーションを実現できる。
ただし、適応の強さを制御するだけでは、どの選好をドメイン間で移すべきか、またそれをどのように表現すべきかは決まらない。そこで本手法は、個人化の事前知識をユーザーとドメインの各要素に機能的に分解する。安定した選好は人間が読めるプロンプトで表現し、ドメイン固有の条件付けはトポロジーを保つソフトトークンで行う。この設計により、ソースドメインの汚染を避け、解釈性と転移性を高めている。
実験は複数のベンチマークとパーソナライゼーションタスクで実施され、強いベースラインを一貫して上回った。特に HiCUPID では、最良の競合ベースラインと比較してクロスドメインの勝率低下を 47.9% 削減し、未見ユーザーのコールドスタートでは勝率を 110.2% 改善した。
本論文は Xuefei Wang 氏ら 7 名の著者によるもので、2026 年 8 月 1 日に arXiv へ投稿された。arXiv 識別子は 2608.12389 で、人工知能（cs.AI）に分類され、DataCite を通じて DOI が発行されている。この研究は、低リソース環境での LLM パーソナライゼーションに対して新たな方向性を示すとともに、ユーザー信号とドメイン信号を分離して扱う手法の有用性を実証している。