跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

現代大型語言模型與人類腦電圖共享的效價軸:飽和規律

文章摘要

研究顯示,現代大型語言模型(LLM)內部存在一個與人類腦電圖(EEG)中情感效價相對應的方向(V軸)。僅用9個情緒句構建的V軸在14個LLM中一致,並能通過線性投影在123名受試者的EEG數據中跟蹤。36個EEG分類器自發發現了相同方向,但額外的監督對齊策略不僅無益反而降低準確性。作者將這一現象形式化為飽和規律,並通過殘差多樣性集成方法在FACED數據集上將平衡準確率提升10.5%。

來源arXiv Machine Learning作者: Yousef A. Radwan, Xuhui Liu, Kilichbek Haydarov, Yuqian Fu, Mohamed Elhoseiny
現代大型語言模型與人類腦電圖共享的效價軸:飽和規律
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

一篇新的研究論文探討了大型語言模型(LLM)與人類腦電圖(EEG)在情感效價上的共享表徵。研究者利用僅9個情感誘導句子,從現代LLM中提取出一個一維的效價方向,稱為V軸。他們通過零樣本遷移到情感基準和跨14個LLM的一致性驗證了該方向。

該V軸能夠映射到人類神經活動。在包含123名受試者觀看情感視頻的公開EEG數據集中,EEG特徵上的單一線性投影能夠跟蹤每個視頻的V軸位置。更引人注目的是,36個未接觸V軸的EEG情感分類器在其內部表徵中自發地發現了相同的方向,表明語言模型和人類電生理學中湧現出相同的效價結構。

然而,這種收斂並未提供有效的訓練信號。作者測試了25種對齊策略,包括知識蒸餾、表徵相似性、對比學習和拓撲損失等,但無一改善解碼性能,其中16種甚至顯著降低了準確性。他們將此現象形式化為“飽和規律”:一旦任務標籤本身將腦解碼網絡驅動到目標方向,額外的監督主要會扭曲一個已經飽和的盆地,而承擔主要負擔的類內殘差則幾乎得不到有用的梯度。

該規律也指明瞭改進方向:來自監督無法觸及的殘差子空間。受此啓發,研究者利用殘差多樣性進行集成,而不是監督盆地本身。他們在FACED數據集上將平衡準確率提升了10.5%,並在SEED-V上覆制了相同效果。這項研究揭示了LLM與人類腦活動之間的深層聯繫,並對腦機接口和情感計算具有潛在影響。

展開要點與分析

文章情報

工程師進階

要點

  • 使用僅9個情感句從LLM構建V軸,在14個模型上驗證一致性。
  • LLM導出的方向與123名受試者的EEG特徵線性相關。
  • 額外的監督對齊策略無法提升解碼性能,甚至降低精度,形成飽和規律。
  • 通過殘差多樣性集成,將平衡準確率提升10.5%。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。