大型語言模型(LLM)在需要專業知識的領域(如醫療健康)中,常常產生虛構——即事實錯誤但表述流暢的語句。這種虛構現象在醫療環境中風險極高,因為錯誤的信息可能導致錯誤診斷或治療方案。現有的醫療幻覺數據集由於虛構覆蓋範圍有限、人類與LLM生成文本之間的風格差異以及幻覺樣本合成過程中的分佈漂移,未能充分捕捉虛構現象。為了應對這一挑戰,研究人員提出了MedFabric,一個通過數據中心管道生成的詞級虛構數據集。該管道利用多種數據源和轉換策略,能夠產生在句法和風格上高度保真、僅引入細微事實偏差的逼真虛構樣本。具體而言,MedFabric從醫學文本中提取結構化知識,然後通過替換、插入或刪除關鍵詞語來生成虛構,同時保持整體流暢性和專業性。
基於MedFabric,研究團隊進一步推出了EtHER,一個模塊化的詞級虛構檢測器。EtHER採用三項關鍵技術:首先,文本到表格分解(Text2Table Decomposition)將醫學文本中的事實信息提取為結構化表格,明確實體及其關係;接着,詞掩碼填充(Word Masking and Filling)通過遮蔽關鍵術語並利用上下文進行預測,識別潛在虛構;最後,混合句對評估(Hybrid Sentence Pair Evaluation)比較原始句子與修改後句子的語義一致性,綜合判斷是否虛構。這三個模塊協同工作,顯著提升了系統的事實對齊能力。
實驗結果表明,MedFabric在多個詞級虛構基準測試中均優於現有最先進檢測器,性能提升幅度超過15%,並且在不同結構相似性的樣本上保持了穩定一致的檢測效果。這一工作為醫療領域提供了一套數據驅動的可靠事實性檢測框架,有望提升LLM在臨牀決策支持、病歷分析等高危場景中的可信度。該論文由來自多家機構的聯合團隊完成,包括Tung Sum Thomas Kwok、Qian Qian、Xiaofeng Lin等人,預印本已提交至arXiv,編號arXiv:2605.04180。