在组织内部，员工常常难以准确判断“谁知道什么”，这种信息不对称会导致重复劳动、决策延迟以及整体生产力的损失。为了解决这一问题，研究者开始探索能否利用人工智能从日常通信记录中自动推断个人的专业领域知识。一篇最新发表在arXiv上的论文《Can AI Guess What You Know? Performance Comparison of Large Language Models for Human Domain Knowledge Estimation From Communication Logs》对此进行了系统性的实证研究。
该研究由Ko Watanabe等作者完成，提交于2026年5月21日。研究团队收集了来自43名用户的27,188条Slack消息作为数据基础，并邀请其中27名参与者提供自我报告的技能评分，以此作为评估模型估计准确性的基准。研究选取了七款不同的大语言模型进行零样本估计，涵盖了Gemini、Claude和GPT等主流系列，旨在比较它们在推断个人领域知识方面的表现差异。
实验结果显示，不同模型之间的性能存在显著差距。Gemini 2.5 Flash取得了最低的平均绝对误差（MAE），为21.13%，意味着其估计值与参与者自评分数之间的平均偏差相对较小。相比之下，GPT系列模型表现出明显更大的误差，说明其在从通信日志中推断专业知识的能力上仍有不足。这一结果提示，模型架构和训练方式可能对知识估计任务产生重要影响。
一个值得关注的发现是，估计准确率与消息数量之间仅存在弱相关关系。换言之，即使用户在Slack上发送了更多消息，模型也未必能更准确地推断其知识水平。这一现象挑战了“数据越多越好”的直觉，表明单纯增加文本量并不足以保证推断质量的提升。研究者认为，这可能是因为通信日志中缺乏结构化的知识表达，或者模型尚未充分利用消息之间的语义关联和上下文信息。
基于这些发现，论文指出自动化专长映射在当前阶段既具有可行性，也存在明显的局限性。一方面，大语言模型已经能够以一定的精度从非结构化的通信记录中捕捉个人知识轮廓；另一方面，误差水平仍然较高，距离实际部署还有距离。作者特别强调，在实际应用中必须重视隐私保护，确保员工通信数据的安全和合规使用。同时，未来的研究需要探索更丰富、更具结构感知的知识表征方法，以提升估计的准确性和可靠性。
该研究属于计算与语言（cs.CL）以及人机交互（cs.HC）的交叉领域，为组织知识管理提供了新的技术视角。随着远程办公和数字化协作的普及，如何高效地识别和利用组织内部的专业知识将变得越来越重要。这项研究不仅揭示了当前大语言模型在该任务上的能力边界，也为后续改进指明了方向，包括开发更精细的上下文建模方法、设计隐私保护的联邦学习框架，以及构建融合多模态信息的知识图谱等。