遅いfMRIで言語符号化モデルを微調整すると速いECoGの予測が改善する
研究者らは、非侵襲的なfMRIデータを用いてECoG符号化モデルを訓練する手法を提案。fMRIの時間分解能が2桁低いにもかかわらず、微調整された表現がECoG予測性能を有意に向上させ、性能はfMRIデータ量に応じてスケールすることを示した。このアプローチは複数の記録手法の統合への道を開く。
神経科学者は最近、高い空間・時間分解能を提供する皮質脳波（ECoG）などの頭蓋内記録法を人間の実験に利用し始めている。しかし、これらのデータで訓練されたモデルは、記録に必要なインプラントを受けられる患者集団に根本的に制限される。この訓練データのギャップを埋めるため、研究者らは非侵襲的なfMRIの利用を提案している。
本研究では、fMRIで微調整された音声言語表現を用いてECoGの符号化モデルを構築した。驚くべきことに、fMRIの時間分解能がECoGより2桁も低い（秒単位 vs ミリ秒単位）にもかかわらず、これらの表現はECoGの予測性能を向上させた。さらに、この改善はfMRIで直接測定される周波数帯域をはるかに超えて見られ、特にガンマ帯域などの高周波領域で顕著であった。
次に、手法の汎化能力を検証するため、時間的に2倍にダウンサンプリングされたfMRI応答でモデルを微調整した。分解能が低下しても、これらのモデルは元のfMRI微調整モデルと同等のレベルでfMRIおよびECoG応答を予測できた。これは、粗い時間サンプリングでもfMRIデータが有用な信号を提供できることを示している。
最後に、ECoGの性能はfMRI微調整データの量に比例して着実にスケールすることが示された。より多くのfMRIデータで微調整すると、ECoG予測の精度は飽和することなく増加し続けた。これらの結果は、fMRIのような「遅い」データがECoGのような「速い」脳データのより良いモデル構築に貴重なリソースとなり得ることを示している。
将来的には、複数の記録手法を統合することで、脳デコーディングなどの他の応用における性能がさらに向上する可能性がある。本研究成果はarXivで公開され（論文ID: 2605.19224）、計算言語学と神経科学のコミュニティで注目を集めている。