跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

LiFT:用于从2D生成器生成3D图像的提升层间特征轨迹

文章摘要

LiFT提出了一种将3D体积合成分解为逐切片图像生成和层间轨迹学习的方法。通过三平面漂移损失和双向z-上下文混合器,该框架在保持切片质量的同时,实现了高效的3D医学图像生成,在BraTS 2023和SynthRAD2023上展示了优越性能,推理成本降低了约135倍。

来源arXiv Computer Vision作者: Xinhe Zhang, Yuyang Zhang, Pengfei Jin, Arnau Marin-Llobet, Na Li, Quanzheng Li
LiFT:用于从2D生成器生成3D图像的提升层间特征轨迹
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

高分辨率3D医学图像生成是医学影像分析中的一项关键任务,但长期以来面临着计算成本与解剖一致性之间的权衡。全3D体积模型虽然能够精确捕捉三维结构,但其计算开销极大,限制了在临床和研究中的广泛应用。相反,基于2D切片的生成方法虽然效率高,却难以在第三维度(深度方向)保持解剖结构的一致性,常导致切片间出现不连贯或伪影,影响生成体积的可用性。

针对这一挑战,由Xinhe Zhang等人提出的LiFT(Lifted Inter-slice Feature Trajectories)框架提供了一种新颖的解决方案。LiFT将3D体积合成分解为两个互补的子任务:逐切片图像生成和切片间轨迹学习。与端到端建模整个体积分布不同,LiFT将体积视为特征空间中的一条有序轨迹,从而捕捉解剖结构在深度方向上的出现、变形和消失过程。这种分解不仅降低了计算复杂度,还使得可以充分利用高效的2D生成器,同时通过轨迹学习来保证三维一致性。

为了实现切片间的一致性,LiFT引入了三平面漂移损失(tri-planar drifting loss)。该损失函数通过将生成切片的轨迹与真实体积的轨迹对齐,迫使模型学习切片间解剖结构的连续变化。在无条件生成任务中,这种分布学习使得模型能够生成连贯的3D体积。在成对翻译任务(如MR到CT)中,LiFT采用双向z-上下文混合器(bidirectional z-context mixer),该混合器针对配准目标进行训练,在保持切片保真度的同时,提供跨平面的一致性。这种设计使得LiFT能够有效处理缺失模态重建和多模态翻译等复杂任务。

LiFT在BraTS 2023(包括无条件生成和缺失模态MR重建)和SynthRAD2023(MR到CT翻译)两个公开数据集上进行了全面评估。实验结果显示,LiFT在保持逐切片质量的同时,显著降低了推理成本:在缺失模态MR重建任务中,LiFT以大约135倍更低的推理成本,接近了报告中的cWDM方法的重建质量,尽管未进行正式的等价性检验。在MR到CT翻译任务中,与无映射器的消融基线相比,LiFT在跨平面连贯性上取得了明显改进,切片间的结构一致性显著提升。这些结果充分证明了轻量级切片间轨迹学习是实现高分辨率3D医学合成的一条可行途径,为未来的医学影像生成研究提供了新的方向。

展开要点与分析

文章情报

工程师进阶

要点

  • LiFT将3D体积生成分解为逐切片生成和层间轨迹学习,避免了端到端体积模型的昂贵计算。
  • 三平面漂移损失使生成切片的轨迹与真实体积的轨迹对齐,实现无条件和成对翻译下的3D一致性。
  • 在BraTS 2023和SynthRAD2023上,LiFT保持了切片质量,推理成本降低约135倍,并改善了层间连贯性。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。