这篇题为《Re-Centering Humans in LLM Personalization》（让人类重新回到大语言模型个性化研究的中心）的论文于2026年6月4日提交至arXiv，属于计算与语言（cs.CL）类别，同时涉及人工智能（cs.AI）与人机交互（cs.HC）两个交叉领域，作者为Lechen Zhang等三人。论文的核心关切是：尽管大语言模型的个性化能力受到越来越多的关注，但现有评估大多依赖合成数据，这些系统在真实用户身上的表现究竟如何，仍然缺乏清晰的答案。
为填补这一空白，研究团队系统地收集了人类数据，并将其与合成数据下的评估结果进行对比。他们共采集了550段真实的人机对话，并围绕个性化的三个关键阶段收集了大量人类判断：第一阶段是从对话中抽取用户属性，共获得5,949条判断；第二阶段是将相关属性与新提示词进行匹配，共11,919条判断；第三阶段是把相关属性融入个性化回复，共1,101条判断。这三个阶段共同覆盖了从理解用户、选择信息到生成响应的完整链条。
引入人类数据后，系统在各个阶段的局限逐一暴露。首先，模型在从真实人类对话中抽取用户属性时表现吃力，说明自然对话的随意性、隐含性和上下文依赖对属性抽取构成了实质挑战。其次，在判断哪些属性与新提示词相关时，模型的判断与人类判断存在分歧，意味着模型对“相关性”的理解可能与用户的实际期待并不一致。第三，也是最引人注目的一点：模型生成的个性化回复在人类看来并不比通用回复更好，然而由大语言模型担任的自动评审却普遍给出更高的评价。这一反差直接揭示出自动评估与真实用户感受之间的系统性偏差。
针对前两个阶段，作者提出了两种轻量级的、基于训练的干预方法，使自动化个性化评估的结果更接近人类数据。这表明在属性抽取与属性匹配环节，通过适度的训练调整可以在一定程度上缩小自动指标与人类判断之间的差距。然而在第三阶段，情况并不乐观：学习到的奖励模型与人类评分之间仅达到中等程度的相关性，说明“什么样的个性化回复对人类真正有用”这类质量判断很难被直接建模。作者据此指出，与人类对齐的个性化质量评估本身就是一个困难问题，不能简单依赖现有的自动评审机制。
论文的贡献不仅在于揭示了差距，还在于提供了可复用的数据基础。作者表示，所收集的数据为研究模型应当如何抽取、选择并融入用户信息提供了基础，从而让个性化真正以人类认为有用的方式实现。该论文的全文可通过arXiv获取，包含PDF、实验性HTML版本以及TeX源码，DOI为10.48550/arXiv.2606.06614，提交历史显示首版于2026年6月4日18:04:47 UTC发布，文件大小约1,040 KB。