本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

スキーマ整合性インベントリ:付与された信念が言語モデルの認知を組織するかどうかの測定

記事の要約

研究者らは、付与された信念が言語モデルの行動を組織するのか、それとも単に気分を採用しただけなのかを検証するため、96項目の強制選択式尺度「スキーマ整合性インベントリ(SCI)」を提案した。107条件・5つのバックボーン(1.7B~14Bパラメータ)にわたる6つの検証研究により、信念アダプタの目標特異性が確認され、公開済みの患者シミュレータ6種はいずれも、その定式化の核心信念を一文のステートメント以上に保持していないことが明らかになった。

ソースarXiv Computational Linguistics著者: Yuqi Wu, Deyang Li, Katharine Hibbard, Ron Oswald, David Sinclair, Adegboyega Sapara, Kalutota Kuruwe Arachchige Sajana Indula Samarasinghe, Abhinav Pillai, Reham Shalaby, Riffat Alam, Xin-Min Li, Yanbo Zhang, Jie Chen
スキーマ整合性インベントリ:付与された信念が言語モデルの認知を組織するかどうかの測定
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

人格条件付けされた言語モデルが模擬患者や感情エージェントとして利用される中、モデルに付与された信念が実際にその行動を組織しているのか、それとも単に気分を採用しただけなのかを検証する方法は確立されていなかった。この課題に対し、研究者らは「スキーマ整合性インベントリ(Schema Coherence Inventory, SCI)」を提案した。SCIはベックの認知モデルの8段階に基づく96項目の強制選択式尺度である。各項目には6つの応答選択肢が用意され、3つの否定的自己スキーマとその肯定的対応物に対応付けられている。採点には長さ正規化対数尤度を採用し、テキストの生成や解析を一切行わないため、生成ベースの評価に伴う偏りを回避できる。

研究チームは、感情だけでもモデルをデフォルトの信念に誘導し得る点を指摘し、判別的基準として「目標特異性」を設定した。すなわち、ある信念のために構築された条件は、同じ極の他の信念のために構築された条件よりも、その信念をより頻繁に選択しなければならない。この基準を検証するため、107条件・5つのバックボーン(17億~140億パラメータ)にわたる6つの検証研究が実施された。

結果はこの読みを支持するものであった。臨床訓練を受けた評価者9名は79.5%の精度でキー信念を回復した(チャンスレベルは16.7%)。信念アダプタはすべてのバックボーンで目標特異性を示し、平均+17.7ポイント、30の信念セルすべてが正の値を示した。また、ある条件のSCIプロファイルは、その条件自身の自由生成を24/30のケースで識別できた(偶然の期待値は5/30)。48項目の短縮版は残りの48項目とr=0.73の相関を示し、良好な内的整合性が確認された。

さらにSCIを6つの公開済み患者シミュレータに適用したところ、いずれもその定式化の核心信念を、その信念を一文で述べたステートメント以上に保持していないことが判明した。この知見は、人格条件付けに基づく臨床シミュレーション応用の現状に警鐘を鳴らすものである。

著者らは、この検証経路が構成概念とそれに伴う感情を分離し、モデル評価を臨床医と照合するテンプレートを提供すると強調している。また、タスクタイプ、評価者、サイト、言語を超えた拡張の道筋を概説し、項目、採点コード、短縮版を公開した。本論文は2026年10月3日にarXivに投稿され、計算と言語(cs.CL)分野に属し、Yuqi Wuら13名による共著である。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • SCIは長さ正規化対数尤度で採点され、テキスト生成や解析を必要としない。
  • 臨床訓練を受けた評価者9名は79.5%の精度でキー信念を回復(チャンスレベル16.7%)。
  • 信念アダプタは全5バックボーンで目標特異性を示す(+17.7ポイント、30/30信念セルが正)。
  • 公開済み患者シミュレータ6種のいずれも、一文のステートメントを上回る核心信念の保持を示さなかった。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。