在慢速fMRI上微調語言編碼模型可改進對快速ECoG的預測
研究人員提出利用非侵入性fMRI資料來訓練ECoG編碼模型，發現即使fMRI時間解析度低兩個數量級，微調後的表示仍能顯著提升ECoG預測效能，且效能隨fMRI資料量增加而提升。這一方法有望整合多種記錄手段，改善腦解碼等應用。
神經科學家最近轉向顱內腦記錄方法（如皮層電圖ECoG）進行人類實驗，因為這些方法提供了精細的空間和時間解析度。然而，基於這些資料訓練的模型從根本上受到能夠接受植入物記錄的患者群體的限制。為了解決訓練資料不足的問題，研究人員提出使用非侵入性功能磁共振成像（fMRI）來彌合差距。
在這項研究中，研究者利用在fMRI資料上微調的口語語言表示，構建了ECoG的編碼模型。令人驚訝的是，儘管fMRI的時間解析度比ECoG低兩個數量級（秒級vs毫秒級），這些表示在ECoG上仍表現出預測效能的提升。而且，這種提升出現在遠超fMRI直接測量的頻率範圍內。具體來說，預測改善在伽馬頻帶等高頻區域尤為顯著，這些區域與神經活動密切相關，而fMRI通常只能捕捉低頻訊號。
為了測試該方法的泛化能力，研究者進一步將fMRI響應的時間解析度降低一半（即下采樣2倍），然後微調模型。儘管解析度下降，這些模型預測fMRI和ECoG響應的能力與原始fMRI微調模型相當。這表明即使使用粗略的時間取樣，fMRI資料仍能提供有用的訊號。
最後，實驗表明ECoG的效能隨著fMRI微調資料量的增加而穩步提升。當使用更多fMRI資料進行微調時，ECoG預測的準確度持續增加，沒有出現飽和趨勢。這些結果表明，像fMRI這樣的“慢”資料可以成為構建更優“快”腦資料模型（如ECoG）的寶貴資源。
未來，整合多種記錄方法可能會進一步提高其他應用（如腦解碼）的效能。該工作已經在arXiv上釋出（論文ID: 2605.19224），並引起了計算語言學和神經科學領域的關注。