大規模言語モデル（LLM）のパーソナライゼーション能力への関心が高まる一方、その評価の多くは合成データに依存しており、実際のユーザーに対してどの程度機能するかは不明なままだ。Lechen Zhangらによる研究は、合成データと人間データの間でパーソナライゼーション性能にどのような差が生じるかを体系的に調査し、2026年6月4日にarXivに投稿された。
研究チームは550件の人間会話を収集し、パーソナライゼーションの3つの主要段階にわたって大規模な人間判断実験を実施した。第1段階は会話からユーザー属性を抽出する作業で5,949件の判断を、第2段階は関連属性を新しいプロンプトと組み合わせる作業で11,919件の判断を、第3段階は関連属性をパーソナライズ応答に組み込む作業で1,101件の判断をそれぞれ収集した。これらはパーソナライゼーションパイプラインの核心部分を網羅している。
人間データを導入すると、各段階でシステムの限界が明らかになった。まず、モデルは実際の人間会話からユーザー属性を正確に抽出することが難しい。次に、どの属性が特定のプロンプトに関連するかを判断する際、モデルの選択は人間の判断としばしば食い違う。最後に、モデルが生成するパーソナライズ応答は、人間から見ると汎用応答と比べて必ずしも優れておらず、むしろLLM評価者は一貫して高い評価を与える。この人間とLLM評価者の系統的な乖離は看過できない。
この評価ギャップを埋めるため、研究者らは2つの軽量な訓練ベースの介入手法を提案した。最初の2段階では、これらの介入により自動パーソナライゼーション評価が人間データに近づくことが示され、適切な訓練によって評価バイアスをある程度補正できる可能性が示唆された。しかし第3段階では、学習済み報酬モデルでさえ人間の評価との相関は中程度にとどまり、人間に整合したパーソナライゼーション品質の判断を直接モデル化することの難しさが浮き彫りになった。
本研究は、LLMパーソナライゼーション評価を人間中心に再設計する必要性を強調している。収集されたデータは、モデルがユーザー情報をどのように抽出・選択・統合すべきかを探求するための重要な基盤となり、人間にとって真に有用なパーソナライズされたコンテンツの生成に貢献するだろう。