在人格條件化語言模型被廣泛用作模擬患者和情感代理的背景下,如何驗證模型是否真正“擁有”被賦予的信念,而非僅僅採納了一種情緒,成為亟待解決的問題。為此,研究者提出了圖式一致性量表(Schema Coherence Inventory, SCI)。該量表基於貝克認知模型的八個層級,設計了96道迫選題。每道題提供六個回覆選項,分別對應三種負面自我圖式及其積極對應物。評分採用長度歸一化的對數似然,因此評估過程完全不涉及文本生成或解析,避免了生成式評估中常見的不可控偏差。
研究團隊指出,僅靠情感因素就足以讓模型滑向某種預設信念,因此他們設定了區分效度標準——目標特異性:針對某一信念構建的條件,必須比針對同一極其他信念的條件更頻繁地選擇該信念。為驗證這一標準,他們開展了六項驗證研究,覆蓋107種條件、五個引數規模從17億到140億的骨幹模型。
驗證結果提供了有力支援。九名接受過臨床訓練的評分者以79.5%的準確率恢復關鍵信念,而隨機水平僅為16.7%。信念介面卡在所有骨幹模型上均表現出目標特異性,平均提升17.7分,30個信念單元全部為正。此外,一個條件的SCI剖面能夠以24/30的準確率識別其自身的自由生成內容,而隨機預期僅為5/30。包含48個條目的簡版與另外48個條目的相關係數達到r=0.73,顯示出良好的內部一致性。
研究還將SCI應用於六個已發表的患者模擬器。結果令人意外:沒有任何一個模擬器比單句陳述更好地承載其表述的核心信念。這一發現對當前基於人格條件化的臨床模擬應用提出了警示。
作者強調,這條驗證路徑將構念與伴隨的情感區分開來,並用臨床醫生作為模型評判的參照,為語言模型中的情感測量提供了可複用的模板。他們進一步展望了將該方法擴充套件到不同任務型別、評分者、站點和語言的路線,並公開了條目、評分程式碼和簡版量表。該論文於2026年10月3日提交至arXiv,屬於計算與語言(cs.CL)領域,作者為Yuqi Wu等13人。