在计算社会科学与自然语言处理交叉领域，大语言模型（LLM）正被越来越频繁地用作测量工具，从文本中编码各类理论构念——例如情绪、立场、框架或人格特质。通常的验证方式是：让LLM对一批文本进行编码，再与人类标注者的结果比较，若一致性高，便认为LLM可靠。然而，Manuel Pita在2026年6月26日提交至arXiv的论文《正确的编码，错误的理由？验证LLM作为理论构念的测量工具》中指出，这种一致性仅仅证明了信度（reliability），却完全未触及构念效度（construct validity）。
论文的核心论点是：一个LLM可能通过某种与目标构念理论无关的相关物（correlate）来达成编码，从而在表面上与人类标注者一致，但实际上并未测量理论所指定的构念。现有的验证方法无法区分这种“理论幼稚”的编码与真正的测量。换句话说，LLM可能给出了正确的编码，但却是基于错误的理由。
为解决这一缺口，作者提出了“颗粒校准”（grain calibration）方法。该方法将目标构念分解为子句级的组件，每个组件对应理论中的一个具体要素。然后，针对每个组件，从文本中提取证据进行检验，判断该组件是否在文本中有所体现。最后，通过一个显式的、由理论推导出的规则，将各组件的结果组合成最终的构念编码。
与将整个判断过程隐藏于一次不透明的模型前向传播不同，颗粒校准将组合规则明确陈述出来。因此，规则的结构本身成为关于编码过程的证据，而不仅仅是关于输出结果的证据。通过分析哪些组件决定了最终编码，研究者可以判断编码是否真正依据了理论所规定的构念。更重要的是，当编码错误时，该方法能够诊断错误来源：是某个关键组件被遗漏了，还是模型将相邻的构念误认为了目标构念。
这一方法的意义在于，它将验证的焦点从“工具的输出是否与标注者一致”转向“工具是否按照理论规定的方式运行”。换言之，验证不再仅仅是比较分数，而是要求展示测量过程本身与理论构念的对应关系。这对于依赖LLM进行理论驱动研究的学者尤为重要，因为仅凭高一致性无法保证测量有效。
论文摘要中并未提供具体的实验数据或案例研究，但方法论的提出为LLM在社会科学测量中的应用提供了新的验证框架。该论文被归类为计算与语言（cs.CL），同时涉及人工智能（cs.AI）以及计算机与社会（cs.CY）领域，反映了跨学科的研究兴趣。作者Manuel Pita拥有博士学位，论文全文可通过arXiv获取，包括PDF和实验性HTML版本。
总体而言，这项工作提醒研究者：当使用LLM作为测量工具时，必须超越简单的标注者间一致性检验，转而关注构念效度。颗粒校准提供了一种可操作、可解释的验证路径，有助于确保LLM编码反映的是理论构念本身，而非偶然的相关物。