近日，研究人员发布了一项名为ABRA（Agent Benchmark for Radiology Applications）的放射学智能体基准测试。该基准测试旨在评估AI智能体在真实放射学工作流程中的表现，要求智能体直接操作医学影像查看器和DICOM服务器，而非仅处理预先选定的图像样本。与以往的医学智能体基准测试不同，ABRA将医学影像作为一个动态环境，智能体必须主动探索和操作，而不是被动地接收预先处理好的图像。这种设计更贴近临床实际，能够更准确地反映智能体在真实场景中的能力。
ABRA基准测试的核心设计是让智能体通过21个函数调用工具与OHIF查看器和Orthanc DICOM服务器进行交互。这些工具涵盖了放射学工作流中的关键操作，包括切片导航、窗宽窗位调整、序列选择、像素坐标标注和结构化报告等。例如，智能体需要能够像人类放射科医生一样，在查看器中浏览不同的影像切片，调整显示参数以突出病变区域，并在图像上标注可疑的病灶位置。这些操作都需要智能体理解医学影像的语义和工具的功能。
该基准测试包含655个程序化生成的任务，分属三个难度级别和八种类型。任务类型包括查看器控制、元数据问答、视觉探测、标注、纵向比较、BI-RADS报告，以及标注和BI-RADS报告的神谕变体。其中，神谕变体是指使用模拟检测器提供病变发现，以分离感知和工具操作的影响。数据来源包括LIDC-IDRI、杜克乳腺癌MRI和NLST新病变LongCT数据集，这些数据集涵盖了肺部、乳腺等不同解剖部位的影像，保证了任务的多样性和临床相关性。
每个任务从规划、执行和结果三个维度进行自动评分。研究团队测试了10个当前主流模型，包括5个闭源模型（如GPT-4、Claude）和5个开源模型（如LLaMA、Mistral）。结果揭示了令人惊讶的现象：在真实标注任务中，所有模型的执行率均达到至少89%，这意味着它们能够正确地调用工具并完成任务的操作步骤。然而，结果率却极低，仅为0-25%。这表明，尽管模型能够按部就班地操作工具，但它们无法准确地识别和定位病变，导致最终结果不合格。
相比之下，在神谕变体任务中，使用模拟检测器提供病变发现后，同一任务的结果率提升至69-100%。这一显著差异清楚地表明，当前模型的瓶颈主要在于视觉感知能力，而非工具编排能力。也就是说，模型在理解医学影像上的病变特征方面存在主要不足，而工具的使用和任务的规划并不是问题所在。这一发现对于未来放射学AI的发展具有重要指导意义：研究重点应放在提升模型的感知能力上，而不是继续优化工具使用和任务规划。
ABRA基准测试的代码、任务生成器和评分器已在GitHub上开源，供研究社区使用和扩展。该工作为放射学AI智能体的评估提供了更贴近实际临床场景的新标准，有望推动该领域的研究方向和方法改进。随着医学影像AI的快速发展，像ABRA这样能够真实反映模型能力的基准测试将变得越来越重要。