脳波信号をエンコードして言語モデルの人間らしい次語予測行動を調査
この研究では、脳波（EEG）記録から得られる事象関連電位（ERP）を用いて人間と言語モデルの次語予測を比較し、「驚き度（surprisal）」のみが言語処理ERPと相関することを発見した。特に意味内容の豊かな開放クラス語で顕著であり、モデルのスケーリングは必ずしも人間らしい認知処理をもたらさないことを示唆している。
言語モデル（LM）は、先行文脈に基づいて次の単語を予測するように訓練されており、人間も読解において同様の予測可能性を示すことが知られている。神経科学の研究では、次語の予測可能性が脳の反応に影響を与えることが、脳波（EEG）によるミリ秒単位の記録で明らかにされている。高度なLMが次語予測タスクにおいて人間の精度に近づいているという証拠がある一方で、「予測精度が高いほど、人間の読解に関わる認知信号を適切に捉えているのか？」という疑問が生じる。本研究では、人間とLMの両方に対して、トップ1予測（top-1 prediction）と驚き度（surprisal）という2つの情報指標に基づく回帰変数を生成し、EEG記録から得られる事象関連電位（ERP）を予測した。ERPは読書中の認知処理の異なる段階を反映する。研究者らは、ERPパターンのモデル化が、読書中の様々なLMの認知妥当性を詳細に分析する手段となると主張する。結果として、驚き度のみが言語処理ERPと潜在的に相関することが示された。特に、意味内容の豊かな開放クラス語（open-class words）に対して顕著であった。さらに、この発見は、LMのパラメータ増加や計算予算の拡大が一貫して人間らしい言語処理への収束を改善するという前提に挑戦するものである。つまり、単にモデルを大きくするだけでは、人間の認知プロセスとの整合性が向上するとは限らないことを示唆している。この研究は、将来の言語モデル開発において、予測精度だけでなく、認知メカニズムとの整合性を重視する必要性を強調している。