在慢速fMRI上微調語言編碼模型可改進對快速ECoG的預測
研究人員提出利用非侵入性fMRI數據來訓練ECoG編碼模型，發現即使fMRI時間分辨率低兩個數量級，微調後的表示仍能顯著提升ECoG預測性能，且性能隨fMRI數據量增加而提升。這一方法有望整合多種記錄手段，改善腦解碼等應用。
神經科學家最近轉向顱內腦記錄方法（如皮層電圖ECoG）進行人類實驗，因為這些方法提供了精細的空間和時間分辨率。然而，基於這些數據訓練的模型從根本上受到能夠接受植入物記錄的患者羣體的限制。為了解決訓練數據不足的問題，研究人員提出使用非侵入性功能磁共振成像（fMRI）來彌合差距。
在這項研究中，研究者利用在fMRI數據上微調的口語語言表示，構建了ECoG的編碼模型。令人驚訝的是，儘管fMRI的時間分辨率比ECoG低兩個數量級（秒級vs毫秒級），這些表示在ECoG上仍表現出預測性能的提升。而且，這種提升出現在遠超fMRI直接測量的頻率範圍內。具體來説，預測改善在伽馬頻帶等高頻區域尤為顯著，這些區域與神經活動密切相關，而fMRI通常只能捕捉低頻信號。
為了測試該方法的泛化能力，研究者進一步將fMRI響應的時間分辨率降低一半（即下采樣2倍），然後微調模型。儘管分辨率下降，這些模型預測fMRI和ECoG響應的能力與原始fMRI微調模型相當。這表明即使使用粗略的時間採樣，fMRI數據仍能提供有用的信號。
最後，實驗表明ECoG的性能隨着fMRI微調數據量的增加而穩步提升。當使用更多fMRI數據進行微調時，ECoG預測的準確度持續增加，沒有出現飽和趨勢。這些結果表明，像fMRI這樣的“慢”數據可以成為構建更優“快”腦數據模型（如ECoG）的寶貴資源。
未來，整合多種記錄方法可能會進一步提高其他應用（如腦解碼）的性能。該工作已經在arXiv上發佈（論文ID: 2605.19224），並引起了計算語言學和神經科學領域的關注。