跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

MedFabric和EtHER:面向醫療大語言模型的詞級虛構生成與檢測的數據中心框架

文章摘要

arXiv:2605.04180v1發佈了一項研究,提出了MedFabric數據集和EtHER檢測器,用於解決醫療大語言模型中的虛構問題。MedFabric通過數據中心管道生成語法和風格一致但事實有細微偏差的詞級虛構,而EtHER通過文本到表格分解、詞掩碼填充和混合句對評估來增強事實一致性。實驗結果顯示,MedFabric在詞級虛構基準測試上比現有最優檢測器性能提升超過15%,為醫療領域提供了一套可靠的事實檢測框架。

來源arXiv Computational Linguistics作者: Tung Sum Thomas Kwok, Qian Qian, Xiaofeng Lin, Dongxu Zhang, Jun Han, Zhichao Yang, Davin Hill, Tamer Soliman, Sanjit Singh Batra, Robert Tillman, Guang Cheng
MedFabric和EtHER:面向醫療大語言模型的詞級虛構生成與檢測的數據中心框架
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)在需要專業知識的領域(如醫療健康)中,常常產生虛構——即事實錯誤但表述流暢的語句。這種虛構現象在醫療環境中風險極高,因為錯誤的信息可能導致錯誤診斷或治療方案。現有的醫療幻覺數據集由於虛構覆蓋範圍有限、人類與LLM生成文本之間的風格差異以及幻覺樣本合成過程中的分佈漂移,未能充分捕捉虛構現象。為了應對這一挑戰,研究人員提出了MedFabric,一個通過數據中心管道生成的詞級虛構數據集。該管道利用多種數據源和轉換策略,能夠產生在句法和風格上高度保真、僅引入細微事實偏差的逼真虛構樣本。具體而言,MedFabric從醫學文本中提取結構化知識,然後通過替換、插入或刪除關鍵詞語來生成虛構,同時保持整體流暢性和專業性。

基於MedFabric,研究團隊進一步推出了EtHER,一個模塊化的詞級虛構檢測器。EtHER採用三項關鍵技術:首先,文本到表格分解(Text2Table Decomposition)將醫學文本中的事實信息提取為結構化表格,明確實體及其關係;接着,詞掩碼填充(Word Masking and Filling)通過遮蔽關鍵術語並利用上下文進行預測,識別潛在虛構;最後,混合句對評估(Hybrid Sentence Pair Evaluation)比較原始句子與修改後句子的語義一致性,綜合判斷是否虛構。這三個模塊協同工作,顯著提升了系統的事實對齊能力。

實驗結果表明,MedFabric在多個詞級虛構基準測試中均優於現有最先進檢測器,性能提升幅度超過15%,並且在不同結構相似性的樣本上保持了穩定一致的檢測效果。這一工作為醫療領域提供了一套數據驅動的可靠事實性檢測框架,有望提升LLM在臨牀決策支持、病歷分析等高危場景中的可信度。該論文由來自多家機構的聯合團隊完成,包括Tung Sum Thomas Kwok、Qian Qian、Xiaofeng Lin等人,預印本已提交至arXiv,編號arXiv:2605.04180。

展開要點與分析

文章情報

工程師進階

要點

  • 醫療大語言模型容易產生虛構(factually incorrect yet fluent statements),現有數據集因覆蓋不足、風格差異和分佈漂移而無法有效捕捉。
  • MedFabric通過數據驅動流程生成保留語法和風格保真度的詞級虛構樣本。
  • EtHER檢測器集成了文本到表格分解、詞掩碼填充和混合句對評估,提升事實對齊能力。
  • 在詞級虛構基準上,MedFabric相比現有技術提升超過15%,且在不同結構相似性下保持穩定性能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。