SpikeDS：用于3D MRI中神经侵犯预测的双稀疏性Spikformer
SpikeDS是一种新型脉冲神经网络架构，通过结合激活稀疏性和空间稀疏性，高效地从3D MRI中预测胆管癌的神经侵犯，在139名患者的队列中实现了0.753的AUC，能耗仅14.4 mJ。
神经侵犯（PNI）是胆管癌（CCA）患者预后不良的重要病理特征，与肿瘤的局部复发和远处转移密切相关。然而，通过3D磁共振成像（MRI）检测PNI极具挑战性，因为肿瘤周边的成像特征通常非常细微，且空间异质性高，使得传统的二维分析难以捕捉这些稀疏的恶性信号。要准确识别这些空间上稀疏的线索，必须对3D MRI进行全容积分析，但现有的深度学习模型在处理三维医学影像时计算开销巨大，严重限制了其在临床环境中的实际部署。
为了克服这一瓶颈，研究团队提出了一种名为SpikeDS（双稀疏性Spikformer）的新型脉冲神经网络（SNN）架构。与传统的卷积神经网络或Transformer不同，SNN通过二进制的脉冲序列进行信息传递，天然具有激活稀疏性，从而大幅降低能耗。SpikeDS在此基础上进一步引入了空间稀疏性：它根据神经元的发放率对3D图像中的窗口进行剪枝，仅保留最显著的窗口进行处理。这种双稀疏性策略通过一个新颖的双稀疏性脉冲注意力（DSSA）模块实现，该模块包含两个互补的机制。其一是基于窗口的专家混合脉冲注意力（W-EMSA），它仅对发放率高的显著窗口施加注意力运算，从而避免了对无关区域的冗余计算。其二是跨窗口脉冲自注意力（CW-SSA），它通过一种非对称的设计让被剪枝的窗口仍然提供键值信息，从而实现了全局上下文的交换，弥补了局部窗口注意力可能带来的信息损失。
研究团队在一个包含139名胆管癌患者的临床队列上进行了5折交叉验证实验。结果显示，SpikeDS在预测PNI方面达到了0.753的曲线下面积（AUC），而能耗仅为14.4毫焦耳。与多种基线方法相比，SpikeDS在诊断性能和能效两方面均取得了最优表现。这一成果表明，双稀疏性策略为提升3D脉冲Transformer的效率提供了一条切实可行的硬件感知路径，且无需牺牲诊断准确性。未来，SpikeDS有望被集成到便携式或低功耗的医疗成像设备中，推动高精度、低能耗的医学影像分析进入临床实践。此外，该方法的原理也可推广至其他需要处理稀疏信号的三维医学影像任务，如肿瘤分割或早期病变检测。