Sagaは、北京大学のYoucheng Li氏らが提案したマルチモーダル患者ワールドモデルであり、個々の疾患経過を計算的にシミュレーションすることを目指している。本論文はarXivに投稿され、コンピュータビジョンとパターン認識の分野に属し、22ページ、6図、4表で構成されている。
個人の疾患経過をシミュレーションするには、患者履歴を将来のイベント、臨床的タイミング、疾患形態に結びつける必要がある。縦断予測やマルチモーダル表現はこうした情報を活用できるが、共通の患者状態を中心に将来の読み出しを組織化し、実際の中間観察なしに軌跡を進めることは中心的課題として残っている。Sagaのアプローチは、患者履歴から共有状態を学習し、その状態を用いて臨床イベントを予測し、マルチモーダル画像を生成するというものである。生成されたイベントと時刻は履歴に追加され、再エンコードされて次の予測へと進む。
研究は112施設にわたる461,370名の患者を対象とし、12種類の癌を扱った。モダリティ別のペア評価により、将来画像を観察されたフォローアップと関連付けた。履歴画像を固定した条件下で患者条件付けを除去すると、イベントF1は0.716から0.591に低下し、病変負荷誤差は11.8%から21.3%に増加した。これは患者状態情報が予測品質に重要であることを示している。
自由ロールアウトでは、Sagaの8ステップイベントF1は0.672に達し、同じ起点から評価した縦断Transformerの0.553を上回り、タイミング誤差も8.7日低かった。内部テストセットでは1年進行のAUROCが0.882であり、時間的外部評価と地理的外部評価ではそれぞれ0.871と0.856であった。
これらの結果は、共有患者状態が観察スケールをまたいで将来の表現型を結びつけ、イベント駆動型の軌跡進行を可能にし、ロールアウト中に比較優位を維持するとともに、外部臨床評価でも識別能力を発揮することを示している。Sagaは患者レベルの疾患シミュレーションをマルチモーダル予測タスクへと変換し、観察されたフォローアップデータに対して検証可能にするものである。