跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

大語言模型在CBT引導的情感推理中何處不足?

文章摘要

大語言模型在CBT理論考試中表現優異(準確率高達96%),但在實際對話中的應用效果不佳。新提出的協議槓桿力(F)指標顯示,即使採用多鏈思維提示,對模型行為的影響也極小(低於1.5%),模型仍偏向於驗證與反思。

來源arXiv Computational Linguistics作者: Vaishnavi Sinha, Pooja Guttal, Pranay Deep Reddy Katike, Vishal Sinha, Gerald Ndawula, Lira Yoon, Andrea Kleinsmith, Manas Gaur
大語言模型在CBT引導的情感推理中何處不足?
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

認知行為療法(CBT)為理解使用者的心理狀態提供了結構化框架,透過考察認知和行為因素之間的相互作用。然而,現成的大語言模型(LLM)雖然能流利地做出共情回應,但無論使用者實際需求如何,它們都傾向於進行驗證和反思,陷入單一模式。儘管LLM在CBT執照考試中能取得高達96%的準確率,但在實際應用中的表現卻不盡如人意。

為了解決這一差距,研究人員提出了一種知識引導框架,將CBT對話視為受控的情感推理。該框架將使用者敘述分解為Beck認知概念化結構,並基於臨床SNOMED CT概念透過自然語言推理進行驗證。隨後,採用多鏈思維(MCoT)策略選擇,在驗證與反思、蘇格拉底式提問和替代視角之間進行抉擇。為了量化這種引導對模型行為的影響,研究者引入了協議槓桿力(F)指標,用於測量干預措施使模型偏離預設響應的程度。

實驗在三個開源LLM(如Llama等)和14個來自RealCBT資料集的案例上進行。評估包括人類專家評分、效價-喚醒軌跡分析以及語言共鳴分析。結果顯示,僅透過單鏈思維提示引入協議定義幾乎無法改變LLM的行為;而MCoT提示能夠更好地引導策略選擇,但效果仍然非常有限——協議槓桿力僅在1%左右(約1.2-1.3%)。所有模型都持續表現出對驗證與反思模式的偏好。

這一研究揭示了LLM在CBT應用中的一個關鍵侷限:理論知識不等於有效應用。研究提供的指標和方法為情感計算社群提供了評估和改進LLM在心理健康對話中表現的工具。該論文已被2026年情感計算與智慧互動(ACII)會議接收。

展開要點與分析

文章情報

工程師進階

要點

  • 大語言模型精通CBT理論但在對話中應用不佳。
  • 新指標協議槓桿力(F)量化行為變化。
  • 多鏈思維提示優於單鏈,但效果微小(<1.5%)。
  • 模型偏向於驗證與反思風格。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。