面向高保真三维点云学习的脑折叠形态预测：Trans-Unet框架
本文提出Trans-Unet框架，通过将3D点云数据转换为2D网格域，结合卷积神经网络和自注意力机制，实现高分辨率脑折叠形态的精确预测，在保真度和准确性上超越现有方法。
来源arXiv Computer Vision作者: Geran Zhao, Xiaotian Li, Poorya Chavoshnejad, Mir Jalil Razavi, Akbar Solhtalab, Lijun Yin, Guifang Fu
近日，一项发表在arXiv上的研究提出了一种名为Trans-Unet的新型框架，用于从三维点云数据高保真地预测大脑折叠形态。该研究由Geran Zhao等人完成，旨在解决三维点云学习中的关键挑战，包括排列不变性、缺乏局部上下文、精细表面重建困难以及高计算成本。
Trans-Unet的核心创新在于首先将三维点云数据转换到二维网格域，然后采用U型混合模型，集成卷积神经网络（CNN）和自注意力机制。这种设计充分利用了各组件的互补优势：三维到二维的转换保留了精细的结构信息，同时显著降低了计算成本和维度灾难的影响；卷积模块捕获层次化的低级局部表示；而自注意力机制则建模全局高级语义和长距离依赖关系。
研究团队使用了一个由大规模有限元模型生成的数据集，包含脑表面斑块和纤维信息的三维点云，其中表面点有40,401个，纤维点有2,382个。Trans-Unet被应用于从初始状态（状态0或状态0-2）预测最终状态（状态3）的脑表面折叠。实验结果显示，Trans-Unet能够实现高分辨率的脑斑块生长预测，在保真度和准确性方面均超越了现有方法。
这项研究为神经科学中的脑折叠形态预测提供了新的技术路径，有望应用于理解大脑发育及相关疾病的机制。论文代码和数据尚未公开，但研究者已提供详细的框架描述和实验设置。该论文的预印本可以在arXiv上获取，编号为2607.21840。