MedCalc-Pro：使用LLM代理解決複雜醫學計算
新基準測試MedCalc-Pro評估了大語言模型在複雜醫學計算中的表現，涵蓋多計算器、嵌套比例和模糊查詢。作者還提出了一個通用代理框架，在三種任務設定中均優於現有模型。
近日，研究團隊提出了一項名為MedCalc-Pro的新基準測試，旨在評估大語言模型（LLM）在複雜醫學計算場景中的表現。與現有基準不同，MedCalc-Pro專注於更具挑戰性的臨牀現實，例如需要多個計算器聯合評估、嵌套比例計算以及模糊查詢——這些場景中目標計算器並非直接指定。該基準涵蓋了來自14個臨牀科室的77種醫學計算器，包含2268個真實世界臨牀案例，共設置三種難度逐步遞增的任務：單計算器、多計算器和嵌套計算器設定。
為了應對現有框架在複雜場景下的性能侷限，研究團隊同時提出了一種更具通用性的代理框架。該框架支持多工具選擇和嵌套工具調用，並通過結構化驗證和證據審查機制抑制參數錯誤傳播，從而顯著提升計算可靠性。研究團隊系統性地對比了開源、閉源以及醫學專用大語言模型，結果顯示，提出的框架在所有三種任務設定中均達到了最佳性能。
這項研究為在複雜的醫學計算場景中評估和應用大語言模型提供了新的基準和方法。研究論文已發表於arXiv，題為“MedCalc-Pro: Solving Complex Medical Calculations with LLM Agents”，作者包括Siran Zhao等。具體而言，MedCalc-Pro包含了來自麻醉學、心臟病學、急診醫學等多個科室的病例，每個病例都對應一個或多個計算器。在單計算器設定中，模型只需使用一個計算器；在多計算器設定中，需要依次調用多個計算器；而在嵌套計算器設定中，計算器的輸出作為另一個計算器的輸入，這對模型的工具調用和錯誤傳播控制提出了更高要求。實驗表明，現有的簡單框架在處理嵌套計算時準確率顯著下降，而提出的新框架通過驗證機制有效避免了這一現象。