跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

MedFabric和EtHER:面向医疗大语言模型的词级虚构生成与检测的数据中心框架

文章摘要

arXiv:2605.04180v1发布了一项研究,提出了MedFabric数据集和EtHER检测器,用于解决医疗大语言模型中的虚构问题。MedFabric通过数据中心管道生成语法和风格一致但事实有细微偏差的词级虚构,而EtHER通过文本到表格分解、词掩码填充和混合句对评估来增强事实一致性。实验结果显示,MedFabric在词级虚构基准测试上比现有最优检测器性能提升超过15%,为医疗领域提供了一套可靠的事实检测框架。

来源arXiv Computational Linguistics作者: Tung Sum Thomas Kwok, Qian Qian, Xiaofeng Lin, Dongxu Zhang, Jun Han, Zhichao Yang, Davin Hill, Tamer Soliman, Sanjit Singh Batra, Robert Tillman, Guang Cheng
MedFabric和EtHER:面向医疗大语言模型的词级虚构生成与检测的数据中心框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)在需要专业知识的领域(如医疗健康)中,常常产生虚构——即事实错误但表述流畅的语句。这种虚构现象在医疗环境中风险极高,因为错误的信息可能导致错误诊断或治疗方案。现有的医疗幻觉数据集由于虚构覆盖范围有限、人类与LLM生成文本之间的风格差异以及幻觉样本合成过程中的分布漂移,未能充分捕捉虚构现象。为了应对这一挑战,研究人员提出了MedFabric,一个通过数据中心管道生成的词级虚构数据集。该管道利用多种数据源和转换策略,能够产生在句法和风格上高度保真、仅引入细微事实偏差的逼真虚构样本。具体而言,MedFabric从医学文本中提取结构化知识,然后通过替换、插入或删除关键词语来生成虚构,同时保持整体流畅性和专业性。

基于MedFabric,研究团队进一步推出了EtHER,一个模块化的词级虚构检测器。EtHER采用三项关键技术:首先,文本到表格分解(Text2Table Decomposition)将医学文本中的事实信息提取为结构化表格,明确实体及其关系;接着,词掩码填充(Word Masking and Filling)通过遮蔽关键术语并利用上下文进行预测,识别潜在虚构;最后,混合句对评估(Hybrid Sentence Pair Evaluation)比较原始句子与修改后句子的语义一致性,综合判断是否虚构。这三个模块协同工作,显著提升了系统的事实对齐能力。

实验结果表明,MedFabric在多个词级虚构基准测试中均优于现有最先进检测器,性能提升幅度超过15%,并且在不同结构相似性的样本上保持了稳定一致的检测效果。这一工作为医疗领域提供了一套数据驱动的可靠事实性检测框架,有望提升LLM在临床决策支持、病历分析等高危场景中的可信度。该论文由来自多家机构的联合团队完成,包括Tung Sum Thomas Kwok、Qian Qian、Xiaofeng Lin等人,预印本已提交至arXiv,编号arXiv:2605.04180。

展开要点与分析

文章情报

工程师进阶

要点

  • 医疗大语言模型容易产生虚构(factually incorrect yet fluent statements),现有数据集因覆盖不足、风格差异和分布漂移而无法有效捕捉。
  • MedFabric通过数据驱动流程生成保留语法和风格保真度的词级虚构样本。
  • EtHER检测器集成了文本到表格分解、词掩码填充和混合句对评估,提升事实对齐能力。
  • 在词级虚构基准上,MedFabric相比现有技术提升超过15%,且在不同结构相似性下保持稳定性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。