AI News HubLIVE
站内改写1 分钟阅读

现代大型语言模型与人类脑电图共享的效价轴:饱和规律

研究显示,现代大型语言模型(LLM)内部存在一个与人类脑电图(EEG)中情感效价相对应的方向(V轴)。仅用9个情绪句构建的V轴在14个LLM中一致,并能通过线性投影在123名受试者的EEG数据中跟踪。36个EEG分类器自发发现了相同方向,但额外的监督对齐策略不仅无益反而降低准确性。作者将这一现象形式化为饱和规律,并通过残差多样性集成方法在FACED数据集上将平衡准确率提升10.5%。

来源arXiv Machine Learning作者: Yousef A. Radwan, Xuhui Liu, Kilichbek Haydarov, Yuqian Fu, Mohamed Elhoseiny

一篇新的研究论文探讨了大型语言模型(LLM)与人类脑电图(EEG)在情感效价上的共享表征。研究者利用仅9个情感诱导句子,从现代LLM中提取出一个一维的效价方向,称为V轴。他们通过零样本迁移到情感基准和跨14个LLM的一致性验证了该方向。

该V轴能够映射到人类神经活动。在包含123名受试者观看情感视频的公开EEG数据集中,EEG特征上的单一线性投影能够跟踪每个视频的V轴位置。更引人注目的是,36个未接触V轴的EEG情感分类器在其内部表征中自发地发现了相同的方向,表明语言模型和人类电生理学中涌现出相同的效价结构。

然而,这种收敛并未提供有效的训练信号。作者测试了25种对齐策略,包括知识蒸馏、表征相似性、对比学习和拓扑损失等,但无一改善解码性能,其中16种甚至显著降低了准确性。他们将此现象形式化为“饱和规律”:一旦任务标签本身将脑解码网络驱动到目标方向,额外的监督主要会扭曲一个已经饱和的盆地,而承担主要负担的类内残差则几乎得不到有用的梯度。

该规律也指明了改进方向:来自监督无法触及的残差子空间。受此启发,研究者利用残差多样性进行集成,而不是监督盆地本身。他们在FACED数据集上将平衡准确率提升了10.5%,并在SEED-V上复制了相同效果。这项研究揭示了LLM与人类脑活动之间的深层联系,并对脑机接口和情感计算具有潜在影响。