MedCalc-Pro：使用LLM代理解决复杂医学计算
新基准测试MedCalc-Pro评估了大语言模型在复杂医学计算中的表现，涵盖多计算器、嵌套比例和模糊查询。作者还提出了一个通用代理框架，在三种任务设定中均优于现有模型。
近日，研究团队提出了一项名为MedCalc-Pro的新基准测试，旨在评估大语言模型（LLM）在复杂医学计算场景中的表现。与现有基准不同，MedCalc-Pro专注于更具挑战性的临床现实，例如需要多个计算器联合评估、嵌套比例计算以及模糊查询——这些场景中目标计算器并非直接指定。该基准涵盖了来自14个临床科室的77种医学计算器，包含2268个真实世界临床案例，共设置三种难度逐步递增的任务：单计算器、多计算器和嵌套计算器设定。
为了应对现有框架在复杂场景下的性能局限，研究团队同时提出了一种更具通用性的代理框架。该框架支持多工具选择和嵌套工具调用，并通过结构化验证和证据审查机制抑制参数错误传播，从而显著提升计算可靠性。研究团队系统性地对比了开源、闭源以及医学专用大语言模型，结果显示，提出的框架在所有三种任务设定中均达到了最佳性能。
这项研究为在复杂的医学计算场景中评估和应用大语言模型提供了新的基准和方法。研究论文已发表于arXiv，题为“MedCalc-Pro: Solving Complex Medical Calculations with LLM Agents”，作者包括Siran Zhao等。具体而言，MedCalc-Pro包含了来自麻醉学、心脏病学、急诊医学等多个科室的病例，每个病例都对应一个或多个计算器。在单计算器设定中，模型只需使用一个计算器；在多计算器设定中，需要依次调用多个计算器；而在嵌套计算器设定中，计算器的输出作为另一个计算器的输入，这对模型的工具调用和错误传播控制提出了更高要求。实验表明，现有的简单框架在处理嵌套计算时准确率显著下降，而提出的新框架通过验证机制有效避免了这一现象。