跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

OSCToM:基於強化學習引導的對抗生成的高階心智理論

文章摘要

一種名為OSCToM的新方法利用強化學習生成對抗樣本,測試大語言模型的心智理論,在FANToM基準上達到76%準確率,效率提升6倍。

來源arXiv AI作者: Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat
OSCToM:基於強化學習引導的對抗生成的高階心智理論
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)在許多語言任務上表現優異,但在複雜社交場景中,它們的心智理論(Theory of Mind, ToM)推理能力仍不均衡。ToM是指理解他人心理狀態(信念、意圖、知識)的能力,對於人機交互至關重要。現有的基準測試,如ExploreToM,未能充分測試遞歸信念和信息不對稱帶來的挑戰,而這些正是複雜社交場景的核心難點。

針對這一問題,來自約翰霍普金斯大學等機構的研究人員提出了OSCToM(Observer-Self Conflict Theory of Mind),這是一種用於建模LLM中嵌套信念衝突的新方法。OSCToM的核心思路是:當觀察者對另一個體的看法與觀察者自身的信念狀態產生衝突時,這種觀察者-自我衝突超出了簡單的視角轉換,要求模型進行遞歸的多層推理。OSCToM結合了強化學習(RL)、擴展的領域特定語言(DSL)和組合代理模型,通過對抗方式生成這類衝突案例。

在實驗中,OSCToM-8B取得了最佳整體表現。在信息不對稱的FANToM基準測試中,OSCToM達到了76%的準確率,而此前最好的ExploreToM僅為0.2%,提升幅度顯著。此外,OSCToM在Hi-ToM和BigToM基準上也保持了競爭力。數據合成過程的效率提高了6倍,表明定向生成的訓練數據能夠幫助較小模型處理高級認知推理任務。

該論文共15頁,包含12幅圖(含15張圖像)和3個表格。研究團隊已在GitHub上公開了項目代碼,以便社區復現和進一步研究。這項工作不僅為LLM的ToM評估提供了更嚴苛的基準,也為通過對抗性訓練提升模型社交推理能力開闢了新途徑。

展開要點與分析

文章情報

工程師進階

要點

  • OSCToM 建模嵌套信念衝突(觀察者-自我衝突)用於高級ToM推理。
  • 結合強化學習、領域特定語言和組合代理模型。
  • 在FANToM上達到76%準確率(ExploreToM為0.2%),數據合成效率提高6倍。
  • 代碼已在GitHub開源。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。