最近、研究者らはABRA（Agent Benchmark for Radiology Applications）と呼ばれる放射線医学エージェントの新しいベンチマークを発表しました。このベンチマークは、AIエージェントが実際の放射線ワークフローでどのように機能するかを評価することを目的としており、事前に選択された画像サンプルだけでなく、エージェントが自ら操作する環境全体を考慮します。従来の医療エージェントベンチマークが画像を事前選択されたサンプルとして提供するのに対し、ABRAではエージェントが自らナビゲートする環境として画像を提供します。
ABRAの核心は、エージェントが21の関数呼び出しツールを介してOHIFビューアとOrthanc DICOMサーバと対話することです。これらのツールは、スライスナビゲーション、ウィンドウ調整、シリーズ選択、ピクセル座標注釈、構造化レポートなどの放射線操作をカバーします。エージェントは、人間の放射線科医のように、ビューア内で異なるスライスを閲覧し、表示パラメータを調整して病変領域を強調し、画像上に疑わしい病変の位置を注釈する必要があります。これらの操作は、エージェントが医用画像のセマンティクスとツールの機能を理解することを要求します。
ベンチマークには、3つの難易度レベルと8つのタイプにわたる655のプログラム生成タスクが含まれています。タスクの種類は、ビューア制御、メタデータQA、視覚プローブ、注釈、縦断比較、BI-RADSレポート、および注釈とBI-RADSレポートのオラクル変種です。オラクル変種とは、シミュレートされた検出器が病変所見を提供するもので、知覚とツール操作の影響を分離するために使用されます。データセットは、LIDC-IDRI、Duke乳がんMRI、NLST New-Lesion LongCTから取得されており、肺や乳房など異なる解剖部位の画像をカバーし、タスクの多様性と臨床的関連性を確保しています。
各エピソードは、計画、実行、結果の3つの次元で、タスクタイプ固有の自動スコアラーによって評価されます。研究チームは、5つのクローズドウェイトモデル（GPT-4、Claudeなど）と5つのオープンウェイトモデル（LLaMA、Mistralなど）を含む10の現在のモデルをテストしました。結果は驚くべきものでした：実際の注釈タスクでは、すべてのモデルが少なくとも89%の実行率を達成しました。これは、モデルがツールを正しく呼び出し、タスクの操作手順を完了できることを意味します。しかし、結果率は極めて低く、0-25%に過ぎませんでした。これは、モデルが手順通りにツールを操作できるものの、病変を正確に識別して位置特定できないため、最終的な結果が不合格となることを示しています。
対照的に、シミュレートされた検出器が病変所見を提供するオラクル変種では、同じタスクの結果率が69-100%に向上しました。この顕著な差は、現在のモデルのボトルネックが主に視覚知覚能力にあることを明確に示しています。つまり、モデルは医用画像上の病変特徴を理解する点で主要な不足があり、ツールの使用やタスクの計画は問題ではないということです。この発見は、将来の放射線医学AIの開発に重要な指針を提供します：研究の焦点は知覚能力の向上に置くべきであり、ツールの使用やタスク計画の最適化に引き続き注力する必要はありません。
ABRAベンチマークのコード、タスクジェネレーター、スコアラーはGitHubで公開されており、研究コミュニティが使用および拡張できます。この研究は、放射線医学AIエージェントの評価に、より臨床現場に近い新しい基準を提供し、この分野の研究方向と方法の改善を促進することが期待されます。医用画像AIの急速な発展に伴い、ABRAのようなモデルの実際の能力を真に反映できるベンチマークはますます重要になるでしょう。