近日，研究人員釋出了一項名為ABRA（Agent Benchmark for Radiology Applications）的放射學智慧體基準測試。該基準測試旨在評估AI智慧體在真實放射學工作流程中的表現，要求智慧體直接操作醫學影像檢視器和DICOM伺服器，而非僅處理預先選定的影像樣本。與以往的醫學智慧體基準測試不同，ABRA將醫學影像作為一個動態環境，智慧體必須主動探索和操作，而不是被動地接收預先處理好的影像。這種設計更貼近臨床實際，能夠更準確地反映智慧體在真實場景中的能力。
ABRA基準測試的核心設計是讓智慧體透過21個函式呼叫工具與OHIF檢視器和Orthanc DICOM伺服器進行互動。這些工具涵蓋了放射學工作流中的關鍵操作，包括切片導航、窗寬窗位調整、序列選擇、畫素座標標註和結構化報告等。例如，智慧體需要能夠像人類放射科醫生一樣，在檢視器中瀏覽不同的影像切片，調整顯示引數以突出病變區域，並在影像上標註可疑的病灶位置。這些操作都需要智慧體理解醫學影像的語義和工具的功能。
該基準測試包含655個程式化生成的任務，分屬三個難度級別和八種型別。任務型別包括檢視器控制、後設資料問答、視覺探測、標註、縱向比較、BI-RADS報告，以及標註和BI-RADS報告的神諭變體。其中，神諭變體是指使用模擬檢測器提供病變發現，以分離感知和工具操作的影響。資料來源包括LIDC-IDRI、杜克乳腺癌MRI和NLST新病變LongCT資料集，這些資料集涵蓋了肺部、乳腺等不同解剖部位的影像，保證了任務的多樣性和臨床相關性。
每個任務從規劃、執行和結果三個維度進行自動評分。研究團隊測試了10個當前主流模型，包括5個閉源模型（如GPT-4、Claude）和5個開源模型（如LLaMA、Mistral）。結果揭示了令人驚訝的現象：在真實標註任務中，所有模型的執行率均達到至少89%，這意味著它們能夠正確地呼叫工具並完成任務的操作步驟。然而，結果率卻極低，僅為0-25%。這表明，儘管模型能夠按部就班地操作工具，但它們無法準確地識別和定位病變，導致最終結果不合格。
相比之下，在神諭變體任務中，使用模擬檢測器提供病變發現後，同一任務的結果率提升至69-100%。這一顯著差異清楚地表明，當前模型的瓶頸主要在於視覺感知能力，而非工具編排能力。也就是說，模型在理解醫學影像上的病變特徵方面存在主要不足，而工具的使用和任務的規劃並不是問題所在。這一發現對於未來放射學AI的發展具有重要指導意義：研究重點應放在提升模型的感知能力上，而不是繼續最佳化工具使用和任務規劃。
ABRA基準測試的程式碼、任務生成器和評分器已在GitHub上開源，供研究社群使用和擴充套件。該工作為放射學AI智慧體的評估提供了更貼近實際臨床場景的新標準，有望推動該領域的研究方向和方法改進。隨著醫學影像AI的快速發展，像ABRA這樣能夠真實反映模型能力的基準測試將變得越來越重要。