MedCalc-Pro：LLMエージェントによる複雑な医学計算の解決
新しいベンチマークMedCalc-Proは、複数の計算機、入れ子スケール、あいまいなクエリを含む複雑な医学計算におけるLLMの性能を評価する。著者らはまた、3つのタスク設定すべてで既存モデルを上回る汎用的なエージェントフレームワークを提案している。
研究チームは、複雑な医学計算シナリオにおける大規模言語モデル（LLM）の性能を評価する新しいベンチマーク「MedCalc-Pro」を提案した。既存のベンチマークが単純化された設定に基づいているのに対し、MedCalc-Proは複数の計算機の併用評価、入れ子スケール計算、目標計算機が直接指定されない曖昧なクエリなど、臨床現場の現実的な課題に焦点を当てている。このベンチマークは14診療科にわたる77種類の医療計算機をカバーし、2,268の実臨床症例から構成される。タスクは難易度に応じて単一計算機、複数計算機、入れ子計算機の3段階に設定されている。
さらに、既存のフレームワークや手法の性能限界に対処するため、汎用性の高いエージェントフレームワークも提案されている。このフレームワークはマルチツール選択と入れ子ツール呼び出しをサポートし、構造化検証とエビデンスレビューを通じてパラメータエラーの伝播を抑制する。オープンソース、クローズドソース、医療専門LLMを体系的に比較した結果、提案フレームワークは3つのタスク設定すべてで最高の性能を示した。
この研究は、困難な医学計算シナリオにおけるLLMの評価と応用のための新しいベンチマークと手法を提供する。論文は「MedCalc-Pro: Solving Complex Medical Calculations with LLM Agents」としてarXivに掲載され、著者はSiran Zhaoらである。具体的には、MedCalc-Proは麻酔科、循環器科、救急科など複数の診療科の症例を含み、各症例は1つ以上の計算機に対応している。単一計算機設定ではモデルは1つの計算機のみを使用するが、複数計算機設定では複数の計算機を順次呼び出す必要がある。入れ子計算機設定では、ある計算機の出力が別の計算機の入力となるため、モデルのツール呼び出しとエラー伝播の制御がより重要となる。実験では、既存の単純なフレームワークは入れ子計算で精度が大幅に低下したが、提案フレームワークは検証機構によりその問題を効果的に回避した。