自由記述の放射線学レポートからデータを自動抽出することは、大規模な医学研究を可能にする重要な技術である。しかし、オランダ語の神経放射線学レポートに対する大規模言語モデル（LLM）の性能を評価した研究はこれまでほとんどなかった。本研究では、2016年から2021年にかけて三次記憶クリニックで作成された947件の脳MRIレポートを分析した。これらのレポートはすべて常勤の神経放射線科医によって執筆されたものである。
研究チームは訓練を受けた医学生が30の変数を注釈付けし、そのうち100件のレポートを二重注釈して評価者間信頼性を評価した。オープンウェイトLLMであるLLaMA 3.1の性能を、異なる言語（オランダ語原文と英語翻訳）および異なる例選択戦略を用いた少数ショットプロンプティングの条件下で評価した。性能指標としては、カテゴリ変数にはバランス精度、カウント変数には精度と平均絶対誤差、自由記述にはテキスト類似度を用いた。すべての指標は947件のレポートを10回ランダムに分割して計算し、平均値と95%信頼区間を求めた。
ゼロショット設定において、LLaMA 3.1は視覚評価スケールで優れた性能を示した。左側の内側側頭葉萎縮のバランス精度は90%[77-100%]、右側は96%[94-99%]であった。全皮質萎縮は87%[83-91%]、Fazekasスコアは94%[93-96%]であった。微小出血の言及は93%[92-95%]の精度で検出され、梗塞の言及は82%[80-84%]であった。病変位置のテキスト類似度は0.95[0.95-0.96]に達した。
一方、数値変数の抽出性能は相対的に低かった。微小出血数の精度は80%[78-82%]、梗塞数は66%[63-68%]にとどまった。特筆すべきは、英語翻訳版を使用した場合でもオランダ語原文と同等の結果が得られたことで、モデルの言語を超えた汎化能力が示唆された。
少数ショットプロンプティングは数値変数の抽出性能を大幅に改善した。構造類似性に基づく例選択戦略を採用した場合、微小出血数の精度は92%[90-93%]に、梗塞数は81%[77-85%]に向上した。これは、適切に設計されたプロンプト例がゼロショット設定のカウントタスクにおける不足を効果的に補えることを示している。
研究の結論として、LLaMA 3.1はオランダ語の神経放射線学レポートからのデータ抽出において強力な可能性を示しており、少数ショットプロンプティングは特に数値変数の性能を向上させる。しかし、病変の正確な位置特定など位置特異的変数の抽出には依然として課題が残る。本論文は欧州放射線学誌に投稿されており、オープンウェイトモデルの臨床テキストマイニングにおける実用性を示すとともに、非英語の医学レポートの構造化処理に重要な知見を提供している。