在慢速fMRI上微调语言编码模型可改进对快速ECoG的预测
研究人员提出利用非侵入性fMRI数据来训练ECoG编码模型，发现即使fMRI时间分辨率低两个数量级，微调后的表示仍能显著提升ECoG预测性能，且性能随fMRI数据量增加而提升。这一方法有望整合多种记录手段，改善脑解码等应用。
神经科学家最近转向颅内脑记录方法（如皮层电图ECoG）进行人类实验，因为这些方法提供了精细的空间和时间分辨率。然而，基于这些数据训练的模型从根本上受到能够接受植入物记录的患者群体的限制。为了解决训练数据不足的问题，研究人员提出使用非侵入性功能磁共振成像（fMRI）来弥合差距。
在这项研究中，研究者利用在fMRI数据上微调的口语语言表示，构建了ECoG的编码模型。令人惊讶的是，尽管fMRI的时间分辨率比ECoG低两个数量级（秒级vs毫秒级），这些表示在ECoG上仍表现出预测性能的提升。而且，这种提升出现在远超fMRI直接测量的频率范围内。具体来说，预测改善在伽马频带等高频区域尤为显著，这些区域与神经活动密切相关，而fMRI通常只能捕捉低频信号。
为了测试该方法的泛化能力，研究者进一步将fMRI响应的时间分辨率降低一半（即下采样2倍），然后微调模型。尽管分辨率下降，这些模型预测fMRI和ECoG响应的能力与原始fMRI微调模型相当。这表明即使使用粗略的时间采样，fMRI数据仍能提供有用的信号。
最后，实验表明ECoG的性能随着fMRI微调数据量的增加而稳步提升。当使用更多fMRI数据进行微调时，ECoG预测的准确度持续增加，没有出现饱和趋势。这些结果表明，像fMRI这样的“慢”数据可以成为构建更优“快”脑数据模型（如ECoG）的宝贵资源。
未来，整合多种记录方法可能会进一步提高其他应用（如脑解码）的性能。该工作已经在arXiv上发布（论文ID: 2605.19224），并引起了计算语言学和神经科学领域的关注。