LLMはCBT誘導の感情推論においてどこで不足するのか?
LLMはCBTの理論試験で高いスコア(最大96%)を達成できるが、実際の対話での適用は効果的でない。新しいメトリクス「プロトコルレバレッジフォース(F)」は、マルチチェーン・オブ・ソートプロンプティングを用いても、行動への影響はわずか(1.5%未満)であり、モデルは検証と反省に偏っていることを示している。
認知行動療法(CBT)は、認知と行動の相互作用を調べることでユーザーの精神状態を理解するための構造化されたフレームワークを提供する。しかし、既製の大規模言語モデル(LLM)は流暢で共感的な応答をするものの、実際のユーザーのニーズに関わらず、検証と反省に陥る傾向がある。LLMはCBTの理論試験で最大96%の正確さを達成できるが、それを効果的に適用することに失敗している。
このギャップを探るために、研究者らは知識誘導フレームワークを提案し、CBT対話を制御された感情推論として扱った。ユーザーのナラティブはベックの認知概念化構造に分解され、臨床SNOMED CT概念に基づいて自然言語推論で検証される。そして、マルチチェーン・オブ・ソート(MCoT)戦略により、検証と反省、ソクラテス的質問、代替視点の3つの戦略から選択を行う。このようなガイダンスが実際にモデルの行動を変えるかどうかを測定するために、プロトコルレバレッジフォース(F)という行動レベルの指標を導入した。これは、介入がモデルをデフォルトの応答からどれだけシフトさせるかを捉える。
3つのオープンウェイトLLMと14のRealCBT由来のケーススタディを用いた実験では、人間専門家による評価、覚醒-価軌跡、言語同調性の分析が行われた。Fは、単一のチェーン・オブ・ソートによるプロトコル定義の導入だけではLLMの行動を変えるのに失敗するが、MCoTは戦略選択をより良く導くことを示した。それでも効果は1%以内(約1.2-1.3%)にとどまり、すべてのモデルは検証と反省に偏ったままであった。
これらの結果は、CBTの知識だけでは効果的な適用が保証されないことを示し、感情コンピューティングコミュニティにLLMが不足している点を測定する手段を提供する。本論文は2026年のAffective Computing and Intelligent Interaction(ACII)会議で採択されている。