人格条件付けされた言語モデルが模擬患者や感情エージェントとして利用される中、モデルに付与された信念が実際にその行動を組織しているのか、それとも単に気分を採用しただけなのかを検証する方法は確立されていなかった。この課題に対し、研究者らは「スキーマ整合性インベントリ(Schema Coherence Inventory, SCI)」を提案した。SCIはベックの認知モデルの8段階に基づく96項目の強制選択式尺度である。各項目には6つの応答選択肢が用意され、3つの否定的自己スキーマとその肯定的対応物に対応付けられている。採点には長さ正規化対数尤度を採用し、テキストの生成や解析を一切行わないため、生成ベースの評価に伴う偏りを回避できる。
研究チームは、感情だけでもモデルをデフォルトの信念に誘導し得る点を指摘し、判別的基準として「目標特異性」を設定した。すなわち、ある信念のために構築された条件は、同じ極の他の信念のために構築された条件よりも、その信念をより頻繁に選択しなければならない。この基準を検証するため、107条件・5つのバックボーン(17億~140億パラメータ)にわたる6つの検証研究が実施された。
結果はこの読みを支持するものであった。臨床訓練を受けた評価者9名は79.5%の精度でキー信念を回復した(チャンスレベルは16.7%)。信念アダプタはすべてのバックボーンで目標特異性を示し、平均+17.7ポイント、30の信念セルすべてが正の値を示した。また、ある条件のSCIプロファイルは、その条件自身の自由生成を24/30のケースで識別できた(偶然の期待値は5/30)。48項目の短縮版は残りの48項目とr=0.73の相関を示し、良好な内的整合性が確認された。
さらにSCIを6つの公開済み患者シミュレータに適用したところ、いずれもその定式化の核心信念を、その信念を一文で述べたステートメント以上に保持していないことが判明した。この知見は、人格条件付けに基づく臨床シミュレーション応用の現状に警鐘を鳴らすものである。
著者らは、この検証経路が構成概念とそれに伴う感情を分離し、モデル評価を臨床医と照合するテンプレートを提供すると強調している。また、タスクタイプ、評価者、サイト、言語を超えた拡張の道筋を概説し、項目、採点コード、短縮版を公開した。本論文は2026年10月3日にarXivに投稿され、計算と言語(cs.CL)分野に属し、Yuqi Wuら13名による共著である。