跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

LiFT:用於從2D生成器生成3D圖像的提升層間特徵軌跡

文章摘要

LiFT提出了一種將3D體積合成分解為逐切片圖像生成和層間軌跡學習的方法。通過三平面漂移損失和雙向z-上下文混合器,該框架在保持切片質量的同時,實現了高效的3D醫學圖像生成,在BraTS 2023和SynthRAD2023上展示了優越性能,推理成本降低了約135倍。

來源arXiv Computer Vision作者: Xinhe Zhang, Yuyang Zhang, Pengfei Jin, Arnau Marin-Llobet, Na Li, Quanzheng Li
LiFT:用於從2D生成器生成3D圖像的提升層間特徵軌跡
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

高分辨率3D醫學圖像生成是醫學影像分析中的一項關鍵任務,但長期以來面臨着計算成本與解剖一致性之間的權衡。全3D體積模型雖然能夠精確捕捉三維結構,但其計算開銷極大,限制了在臨牀和研究中的廣泛應用。相反,基於2D切片的生成方法雖然效率高,卻難以在第三維度(深度方向)保持解剖結構的一致性,常導致切片間出現不連貫或偽影,影響生成體積的可用性。

針對這一挑戰,由Xinhe Zhang等人提出的LiFT(Lifted Inter-slice Feature Trajectories)框架提供了一種新穎的解決方案。LiFT將3D體積合成分解為兩個互補的子任務:逐切片圖像生成和切片間軌跡學習。與端到端建模整個體積分佈不同,LiFT將體積視為特徵空間中的一條有序軌跡,從而捕捉解剖結構在深度方向上的出現、變形和消失過程。這種分解不僅降低了計算複雜度,還使得可以充分利用高效的2D生成器,同時通過軌跡學習來保證三維一致性。

為了實現切片間的一致性,LiFT引入了三平面漂移損失(tri-planar drifting loss)。該損失函數通過將生成切片的軌跡與真實體積的軌跡對齊,迫使模型學習切片間解剖結構的連續變化。在無條件生成任務中,這種分佈學習使得模型能夠生成連貫的3D體積。在成對翻譯任務(如MR到CT)中,LiFT採用雙向z-上下文混合器(bidirectional z-context mixer),該混合器針對配準目標進行訓練,在保持切片保真度的同時,提供跨平面的一致性。這種設計使得LiFT能夠有效處理缺失模態重建和多模態翻譯等複雜任務。

LiFT在BraTS 2023(包括無條件生成和缺失模態MR重建)和SynthRAD2023(MR到CT翻譯)兩個公開數據集上進行了全面評估。實驗結果顯示,LiFT在保持逐切片質量的同時,顯著降低了推理成本:在缺失模態MR重建任務中,LiFT以大約135倍更低的推理成本,接近了報告中的cWDM方法的重建質量,儘管未進行正式的等價性檢驗。在MR到CT翻譯任務中,與無映射器的消融基線相比,LiFT在跨平面連貫性上取得了明顯改進,切片間的結構一致性顯著提升。這些結果充分證明了輕量級切片間軌跡學習是實現高分辨率3D醫學合成的一條可行途徑,為未來的醫學影像生成研究提供了新的方向。

展開要點與分析

文章情報

工程師進階

要點

  • LiFT將3D體積生成分解為逐切片生成和層間軌跡學習,避免了端到端體積模型的昂貴計算。
  • 三平面漂移損失使生成切片的軌跡與真實體積的軌跡對齊,實現無條件和成對翻譯下的3D一致性。
  • 在BraTS 2023和SynthRAD2023上,LiFT保持了切片質量,推理成本降低約135倍,並改善了層間連貫性。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。