跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

面向隱私敏感臨牀信息提取的小語言模型自提示框架

文章摘要

研究提出一種自提示框架,使小語言模型能夠自動生成、驗證和優化實體提取提示。在1200份牙科病歷註釋上測試,經過DPO後Qwen2.5-14B-Instruct達到micro/macro F1分別為0.864/0.837,表明該方法可擴展用於本地部署的隱私敏感臨牀信息提取。

來源arXiv Computational Linguistics作者: Yao-Shun Chuang, Tushti Mody, Uday Pratap Singh, Shirindokht Shiraz, Chun-Teh Lee, Ryan Brandon, Muhammad F Walji, Xiaoqian Jiang, Bunmi Tokede
面向隱私敏感臨牀信息提取的小語言模型自提示框架
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

臨牀命名實體識別(NER)在牙科病程記錄中面臨重重挑戰。牙科記錄往往高度非結構化、包含大量專業術語,並且常常涉及患者隱私信息。傳統的通用語言模型很難直接應用於這種特定領域,而專門訓練大型模型又需要大量計算資源和敏感數據上雲,帶來隱私風險。為了解決這一問題,研究團隊開發了一種可完全本地部署的框架,使小型語言模型(SLMs)能夠自主生成、驗證、優化和評估用於提取臨牀實體的提示。

該框架的核心在於自提示(self-prompting)機制。模型首先根據任務描述自動生成多個候選提示,然後通過多提示集成推理(multi-prompt ensemble inference)評估每個提示的有效性,並從中選出最佳提示。接着,利用選中的提示進行實體提取。此外,研究還引入了基於QLoRA的監督微調(SFT)和直接偏好優化(DPO)來進一步提升模型性能。整個過程無需人工干預,完全自動化。

在實驗中,研究團隊使用了1,200份已標註的牙科病程記錄,評估了多種開源模型。基線測試顯示,不同模型之間的性能差異非常大,這凸顯了針對具體任務進行評估的重要性,而不能僅僅依賴通用基準。其中,Qwen2.5-14B-Instruct在基線階段表現最為突出。經過DPO優化後,Qwen2.5-14B-Instruct和Llama-3.1-8B-Instruct分別取得了micro/macro F1分數0.864/0.837和0.806/0.797的成績。這些結果令人鼓舞,表明自動化的提示優化與輕量級的偏好後訓練相結合,能夠有效支持使用本地部署的小型語言模型進行可擴展的臨牀信息提取。

該框架的另一大優勢在於隱私保護。由於所有計算都在本地完成,無需將敏感的患者數據上傳到雲端,因此特別適用於對數據隱私要求嚴格的醫療場景。研究團隊表示,未來計劃將該方法推廣到更多的臨牀領域,並進一步優化提示生成流程,以提升模型的泛化能力。這項研究為在隱私敏感環境中利用人工智能輔助臨牀決策提供了可行的技術路徑。

展開要點與分析

文章情報

工程師進階

要點

  • 框架通過自提示、多提示集成和偏好優化實現高效實體識別
  • 使用1200份牙科病歷進行訓練和評估
  • Qwen2.5-14B-Instruct經DPO後F1分數最佳(micro 0.864, macro 0.837)
  • 支持本地部署,保障數據隱私

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。