扩散语言模型正在成为自回归(AR)生成的有力竞争者,但其在医疗基础模型领域的应用仍几乎一片空白。一篇新发布的arXiv论文(编号2607.01436,提交于2026年7月1日)试图改变这一现状。论文题为《面向交互式放射报告起草的离散扩散语言模型》,由Max Van Puyvelde等四位作者完成,属于人工智能(cs.AI)与机器学习(cs.LG)交叉领域,ACM分类涵盖I.2.7、I.2.6与J.3。
扩散语言模型的生成机制与自回归模型存在本质差异。AR模型逐词从左到右输出文本,而扩散模型则通过对一个“token画布”进行双向去噪来生成内容。研究团队将这一思路引入医疗场景:他们选取混合专家(MoE)架构的扩散模型DiffusionGemma-26B进行适配,并在完全相同的LoRA微调配方下,与同尺寸的自回归兄弟模型Gemma-4-26B进行对照评测。评测数据集为医学视觉问答(VQA)任务,评分采用对冗长程度具有鲁棒性的LLM评判器,以避免回答长度干扰质量判断。
实验结果显示,扩散模型在所有医学VQA数据集上的表现均达到或超过自回归模型。经过微调后的模型仅激活3.8B参数,却已能与前沿视觉语言模型相竞争。在速度方面,扩散模型的解码效率同样突出,比对应的自回归模型快3.5至4.4倍。这一结果说明,扩散架构在医疗多模态任务中不仅没有落后,反而在质量与效率两个维度上同时具备优势。
更值得关注的是扩散模型独有的“任意顺序填空”(any-order infill)能力。由于画布是双向去噪的,放射科医生可以先固定报告中已有的片段,再让模型在片段之间补全文字。这一操作是扩散架构的固有特性,而自回归模型在此类任务上表现欠佳。论文指出,该能力恰好契合真实报告的书写习惯——临床报告往往简短、省略,且不同临床医生与不同医疗机构之间的表述风格并不统一。
从应用前景看,这项研究为医疗基础模型提供了一条不同于主流自回归路线的技术选择。它既保留了与现有模型相当甚至更优的问答能力,又通过解码加速降低了推理成本,并以填空式起草支持放射科医生进行交互式撰写。论文同时给出了完整的提交信息与引用方式(DOI: 10.48550/arXiv.2607.01436),全文可通过arXiv以PDF、实验性HTML及TeX源码形式获取。