跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

面向隐私敏感临床信息提取的小语言模型自提示框架

文章摘要

研究提出一种自提示框架,使小语言模型能够自动生成、验证和优化实体提取提示。在1200份牙科病历注释上测试,经过DPO后Qwen2.5-14B-Instruct达到micro/macro F1分别为0.864/0.837,表明该方法可扩展用于本地部署的隐私敏感临床信息提取。

来源arXiv Computational Linguistics作者: Yao-Shun Chuang, Tushti Mody, Uday Pratap Singh, Shirindokht Shiraz, Chun-Teh Lee, Ryan Brandon, Muhammad F Walji, Xiaoqian Jiang, Bunmi Tokede
面向隐私敏感临床信息提取的小语言模型自提示框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

临床命名实体识别(NER)在牙科病程记录中面临重重挑战。牙科记录往往高度非结构化、包含大量专业术语,并且常常涉及患者隐私信息。传统的通用语言模型很难直接应用于这种特定领域,而专门训练大型模型又需要大量计算资源和敏感数据上云,带来隐私风险。为了解决这一问题,研究团队开发了一种可完全本地部署的框架,使小型语言模型(SLMs)能够自主生成、验证、优化和评估用于提取临床实体的提示。

该框架的核心在于自提示(self-prompting)机制。模型首先根据任务描述自动生成多个候选提示,然后通过多提示集成推理(multi-prompt ensemble inference)评估每个提示的有效性,并从中选出最佳提示。接着,利用选中的提示进行实体提取。此外,研究还引入了基于QLoRA的监督微调(SFT)和直接偏好优化(DPO)来进一步提升模型性能。整个过程无需人工干预,完全自动化。

在实验中,研究团队使用了1,200份已标注的牙科病程记录,评估了多种开源模型。基线测试显示,不同模型之间的性能差异非常大,这凸显了针对具体任务进行评估的重要性,而不能仅仅依赖通用基准。其中,Qwen2.5-14B-Instruct在基线阶段表现最为突出。经过DPO优化后,Qwen2.5-14B-Instruct和Llama-3.1-8B-Instruct分别取得了micro/macro F1分数0.864/0.837和0.806/0.797的成绩。这些结果令人鼓舞,表明自动化的提示优化与轻量级的偏好后训练相结合,能够有效支持使用本地部署的小型语言模型进行可扩展的临床信息提取。

该框架的另一大优势在于隐私保护。由于所有计算都在本地完成,无需将敏感的患者数据上传到云端,因此特别适用于对数据隐私要求严格的医疗场景。研究团队表示,未来计划将该方法推广到更多的临床领域,并进一步优化提示生成流程,以提升模型的泛化能力。这项研究为在隐私敏感环境中利用人工智能辅助临床决策提供了可行的技术路径。

展开要点与分析

文章情报

工程师进阶

要点

  • 框架通过自提示、多提示集成和偏好优化实现高效实体识别
  • 使用1200份牙科病历进行训练和评估
  • Qwen2.5-14B-Instruct经DPO后F1分数最佳(micro 0.864, macro 0.837)
  • 支持本地部署,保障数据隐私

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。