自动从自由文本放射学报告中提取数据是实现大规模医学研究的关键步骤，但针对荷兰语神经放射学报告的大语言模型性能评估此前较为缺乏。为此，一项研究分析了2016年至2021年间来自三级记忆门诊的947份脑部MRI报告，这些报告均由顾问神经放射学家撰写。研究团队由受过训练的医学生标注了30个变量，并对其中100份报告进行了双标注以评估评分者间信度。
研究采用开放权重的大语言模型LLaMA 3.1，测试了不同语言（荷兰语原文与英文翻译）以及不同示例选择策略的少样本提示方法。性能评估指标包括分类变量的平衡准确率、计数变量的准确率和平均绝对误差，以及自由文本的文本相似度。所有指标均在947份报告的10次随机划分上计算平均值和95%置信区间。
在零样本设置下，LLaMA 3.1对视觉评分量表表现出色：左侧内侧颞叶萎缩的平衡准确率达90%[77-100%]，右侧为96%[94-99%]；全局皮层萎缩为87%[83-91%]；Fazekas评分为94%[93-96%]。微出血提及的检测准确率为93%[92-95%]，梗死提及为82%[80-84%]。病灶位置的文本相似度达到0.95[0.95-0.96]。
然而，数值变量的提取性能相对较低：微出血数量的准确率为80%[78-82%]，梗死数量仅为66%[63-68%]。值得注意的是，使用英文翻译版本获得了与荷兰语原文相当的结果，表明模型具有跨语言泛化能力。
少样本提示显著改善了数值变量的提取性能。采用基于结构相似性的示例选择策略时，微出血数量的准确率提升至92%[90-93%]，梗死数量提升至81%[77-85%]。这表明精心设计的提示示例可以有效弥补零样本设置在计数任务上的不足。
研究结论指出，LLaMA 3.1在从荷兰语神经放射学报告中提取数据方面展现出强大潜力，少样本提示尤其能提升数值变量的性能，但位置特异性变量（如病灶精确定位）的提取仍面临挑战。该研究已提交至《欧洲放射学》期刊，展示了开放权重模型在临床文本挖掘中的实用价值，并为非英语医学报告的结构化处理提供了重要参考。