在人格条件化语言模型被广泛用作模拟患者和情感代理的背景下,如何验证模型是否真正“拥有”被赋予的信念,而非仅仅采纳了一种情绪,成为亟待解决的问题。为此,研究者提出了图式一致性量表(Schema Coherence Inventory, SCI)。该量表基于贝克认知模型的八个层级,设计了96道迫选题。每道题提供六个回复选项,分别对应三种负面自我图式及其积极对应物。评分采用长度归一化的对数似然,因此评估过程完全不涉及文本生成或解析,避免了生成式评估中常见的不可控偏差。
研究团队指出,仅靠情感因素就足以让模型滑向某种默认信念,因此他们设置了区分效度标准——目标特异性:针对某一信念构建的条件,必须比针对同一极其他信念的条件更频繁地选择该信念。为验证这一标准,他们开展了六项验证研究,覆盖107种条件、五个参数规模从17亿到140亿的骨干模型。
验证结果提供了有力支持。九名接受过临床训练的评分者以79.5%的准确率恢复关键信念,而随机水平仅为16.7%。信念适配器在所有骨干模型上均表现出目标特异性,平均提升17.7分,30个信念单元全部为正。此外,一个条件的SCI剖面能够以24/30的准确率识别其自身的自由生成内容,而随机预期仅为5/30。包含48个条目的简版与另外48个条目的相关系数达到r=0.73,显示出良好的内部一致性。
研究还将SCI应用于六个已发表的患者模拟器。结果令人意外:没有任何一个模拟器比单句陈述更好地承载其表述的核心信念。这一发现对当前基于人格条件化的临床模拟应用提出了警示。
作者强调,这条验证路径将构念与伴随的情感区分开来,并用临床医生作为模型评判的参照,为语言模型中的情感测量提供了可复用的模板。他们进一步展望了将该方法扩展到不同任务类型、评分者、站点和语言的路线,并公开了条目、评分代码和简版量表。该论文于2026年10月3日提交至arXiv,属于计算与语言(cs.CL)领域,作者为Yuqi Wu等13人。