大型语言模型(LLM)在需要专业知识的领域(如医疗健康)中,常常产生虚构——即事实错误但表述流畅的语句。这种虚构现象在医疗环境中风险极高,因为错误的信息可能导致错误诊断或治疗方案。现有的医疗幻觉数据集由于虚构覆盖范围有限、人类与LLM生成文本之间的风格差异以及幻觉样本合成过程中的分布漂移,未能充分捕捉虚构现象。为了应对这一挑战,研究人员提出了MedFabric,一个通过数据中心管道生成的词级虚构数据集。该管道利用多种数据源和转换策略,能够产生在句法和风格上高度保真、仅引入细微事实偏差的逼真虚构样本。具体而言,MedFabric从医学文本中提取结构化知识,然后通过替换、插入或删除关键词语来生成虚构,同时保持整体流畅性和专业性。
基于MedFabric,研究团队进一步推出了EtHER,一个模块化的词级虚构检测器。EtHER采用三项关键技术:首先,文本到表格分解(Text2Table Decomposition)将医学文本中的事实信息提取为结构化表格,明确实体及其关系;接着,词掩码填充(Word Masking and Filling)通过遮蔽关键术语并利用上下文进行预测,识别潜在虚构;最后,混合句对评估(Hybrid Sentence Pair Evaluation)比较原始句子与修改后句子的语义一致性,综合判断是否虚构。这三个模块协同工作,显著提升了系统的事实对齐能力。
实验结果表明,MedFabric在多个词级虚构基准测试中均优于现有最先进检测器,性能提升幅度超过15%,并且在不同结构相似性的样本上保持了稳定一致的检测效果。这一工作为医疗领域提供了一套数据驱动的可靠事实性检测框架,有望提升LLM在临床决策支持、病历分析等高危场景中的可信度。该论文由来自多家机构的联合团队完成,包括Tung Sum Thomas Kwok、Qian Qian、Xiaofeng Lin等人,预印本已提交至arXiv,编号arXiv:2605.04180。