医療AIの分野では、基盤モデルのほとんどが自己回帰（AR）方式でテキストを生成しており、左から右へ順にトークンを出力する。しかし、近年、拡散言語モデルと呼ばれる新しいアプローチが自己回帰モデルと競合する性能を示し始めている。これは、トークンのキャンバスを双方向にノイズ除去することでテキストを生成するもので、順序に依存しない。最近arXivに公開された論文「対話型放射線レポート作成のための離散拡散言語モデル」は、拡散言語モデルを医療視覚質問応答や放射線レポート生成に応用する可能性を探っている。
研究チームは、専門家混合拡散言語モデルであるDiffusionGemma-26Bを適応させ、同一のLoRA微調整レシピの下で、同サイズの自己回帰モデルGemma-4-26Bと医療視覚質問応答データセットで比較した。評価には冗長性に頑健なLLM審判を採用した。その結果、拡散モデルはすべてのデータセットで自己回帰モデルと同等かそれを上回る性能を示した。微調整後のモデルはアクティブパラメータが38億と小さいにもかかわらず、最先端の視覚言語モデルと競合できる。さらに、デコード速度は自己回帰モデルより3.5〜4.4倍高速であり、効率面でも大きな利点がある。
特筆すべきは、拡散モデルが自己回帰モデルにはない起草機能を提供することだ。キャンバスが双方向にノイズ除去されるため、放射線科医はレポートの一部を固定し、その間のテキストをモデルに埋めさせることができる。この「任意順序のインフィル」は拡散モデルに固有の操作であり、自己回帰モデルはこれが苦手である。この特性は、臨床医や施設によって簡潔だったり一貫性がなかったりする実際のレポートに適している。対話的に埋めることで、文脈に合った一貫したレポートを迅速に生成できる。
論文はMax Van Puyveldeら4名によって2026年7月1日に提出された。人工知能、機械学習、医学情報学の交叉領域に位置する。まだプレプリントの段階だが、この研究は拡散言語モデルが医療テキスト生成、特に臨床文書の起草において持つ可能性を示している。今後、さらなる研究と検証が進めば、拡散モデルは医療基盤モデルの重要な補完手段となるか、あるいは自己回帰モデルの一部応用を置き換える可能性がある。