跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

圖式一致性量表:衡量被賦予的信念是否組織語言模型的認知

文章摘要

研究者提出圖式一致性量表(SCI),用96道迫選題測量被賦予的信念是否真正組織語言模型的行為,而不僅僅是情緒感染。六項驗證研究覆蓋107種條件、五個模型規模(1.7B-14B),證明信念適配器具有目標特異性,並揭示現有患者模擬器均未有效承載其表述的核心信念。

來源arXiv Computational Linguistics作者: Yuqi Wu, Deyang Li, Katharine Hibbard, Ron Oswald, David Sinclair, Adegboyega Sapara, Kalutota Kuruwe Arachchige Sajana Indula Samarasinghe, Abhinav Pillai, Reham Shalaby, Riffat Alam, Xin-Min Li, Yanbo Zhang, Jie Chen
圖式一致性量表:衡量被賦予的信念是否組織語言模型的認知
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在人格條件化語言模型被廣泛用作模擬患者和情感代理的背景下,如何驗證模型是否真正“擁有”被賦予的信念,而非僅僅採納了一種情緒,成為亟待解決的問題。為此,研究者提出了圖式一致性量表(Schema Coherence Inventory, SCI)。該量表基於貝克認知模型的八個層級,設計了96道迫選題。每道題提供六個回覆選項,分別對應三種負面自我圖式及其積極對應物。評分採用長度歸一化的對數似然,因此評估過程完全不涉及文本生成或解析,避免了生成式評估中常見的不可控偏差。

研究團隊指出,僅靠情感因素就足以讓模型滑向某種默認信念,因此他們設置了區分效度標準——目標特異性:針對某一信念構建的條件,必須比針對同一極其他信念的條件更頻繁地選擇該信念。為驗證這一標準,他們開展了六項驗證研究,覆蓋107種條件、五個參數規模從17億到140億的骨幹模型。

驗證結果提供了有力支持。九名接受過臨牀訓練的評分者以79.5%的準確率恢復關鍵信念,而隨機水平僅為16.7%。信念適配器在所有骨幹模型上均表現出目標特異性,平均提升17.7分,30個信念單元全部為正。此外,一個條件的SCI剖面能夠以24/30的準確率識別其自身的自由生成內容,而隨機預期僅為5/30。包含48個條目的簡版與另外48個條目的相關係數達到r=0.73,顯示出良好的內部一致性。

研究還將SCI應用於六個已發表的患者模擬器。結果令人意外:沒有任何一個模擬器比單句陳述更好地承載其表述的核心信念。這一發現對當前基於人格條件化的臨牀模擬應用提出了警示。

作者強調,這條驗證路徑將構念與伴隨的情感區分開來,並用臨牀醫生作為模型評判的參照,為語言模型中的情感測量提供了可複用的模板。他們進一步展望了將該方法擴展到不同任務類型、評分者、站點和語言的路線,並公開了條目、評分代碼和簡版量表。該論文於2026年10月3日提交至arXiv,屬於計算與語言(cs.CL)領域,作者為Yuqi Wu等13人。

展開要點與分析

文章情報

工程師進階

要點

  • SCI通過長度歸一化對數似然評分,無需生成或解析文本,避免了生成式評估的偏差。
  • 九名臨牀受訓評分者以79.5%的準確率恢復關鍵信念(隨機水平16.7%)。
  • 信念適配器在全部五個骨幹模型上表現出目標特異性(提升17.7分,30/30信念單元為正)。
  • 六個已發表的患者模擬器中,沒有一個比單句陳述更好地承載其表述的核心信念。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。