MiLSD:面向资源受限设备的微型线段检测器
线段检测是视觉SLAM、3D重建和工业检测的关键模块。现有深度学习方法虽精度高,但最小模型也需数兆字节内存,超出低成本MCU的容量。本文研究亚兆字节预算下的最大可达精度,提出MiLSD——针对MCU约束设计的检测器,系统比较紧凑全卷积骨干网络中的三种输出表示,发现所提出的F-Clip中心-长度-角度公式在小模型规模下学习效率最高。8位量化可保持全精度性能,而4位量化导致显著退化,尤其角度回归,量化感知训练仅能部分恢复损失。在1兆字节激活预算下,结合亚像素解码、测试时增强和轻量验证器,MiLSD将ShanghaiTech Wireframe上的sAP10从10.6(25k参数,0.25 MB)提升至24.1。本文不试图与GPU级解析器竞争,而是绘制了嵌入式视觉系统中不同表示、位宽、容量和后处理策略下的精度-内存权衡图。
线段检测是计算机视觉中的一项基础任务,广泛应用于视觉同步定位与地图构建(SLAM)、三维重建以及工业检测等领域。近年来,基于深度学习的方法显著提升了检测精度,但即便是最小的模型也需要数兆字节的内存,这远远超出了低成本微控制器单元(MCU)的容量限制。例如,常见的ARM Cortex-M系列MCU通常只有几百KB到几MB的RAM,无法容纳现有的深度学习线段检测模型。因此,在亚兆字节(sub-MB)内存预算下实现高精度线段检测成为一个关键挑战。
在这篇于2026年7月7日提交的论文中,来自Parsa Hassani Shariat Panahi等三位作者的研究团队提出了MiLSD(Micro Line-Segment Detector),一种专为MCU级资源约束设计的微型线段检测器。该工作系统性地探索了在紧凑的全卷积骨干网络中,三种不同的输出表示对模型性能的影响:标准的热图回归、偏移量回归以及他们提出的F-Clip中心-长度-角度公式。实验结果表明,F-Clip公式在小模型规模下学习效率最高,能够更有效地利用有限的参数和内存资源。例如,在仅有25k参数(0.25 MB)的基线上,F-Clip表示就展现出了优于其他表示的性能。
在模型量化方面,研究团队发现8位量化几乎可以无损地保持全精度模型的性能,这使得模型可以在低功耗MCU上高效运行。然而,4位量化会导致显著的精度下降,尤其是在角度回归方面,即使采用量化感知训练也只能部分恢复损失的性能。这一发现对于边缘设备上的模型部署具有重要指导意义。
为了在1兆字节的激活预算内进一步提升性能,MiLSD引入了多种推理增强技术:亚像素解码可以提高线段的定位精度,测试时数据增强能够增加预测的鲁棒性,而轻量级验证器则用于过滤掉低质量的检测结果。通过这些技术的组合,MiLSD在ShanghaiTech Wireframe数据集上的sAP10指标从基线模型的10.6提升至24.1,性能提升超过一倍,同时内存占用保持在1 MB以内。
值得注意的是,该工作并不旨在与GPU级的大规模解析器竞争,而是专注于为嵌入式视觉系统绘制精度-内存的权衡曲线。论文系统地比较了不同输出表示、位宽(8位与4位)、模型容量(从25k参数到更大规模)以及后处理策略(如亚像素解码、测试时增强和验证器)对精度和内存消耗的影响。这些结果可以指导工程师根据具体应用场景(如机器人、无人机、工业传感器)的设备限制,选择合适的模型配置。
MiLSD的提出填补了高精度线段检测与低功耗嵌入式设备之间的空白,使得在成本敏感的物联网终端、微型无人机以及工业传感器上部署实时视觉算法成为可能。未来工作可以进一步探索模型压缩技术(如知识蒸馏、权重共享)以及硬件协同设计,以推动线段检测在边缘计算场景中的更广泛应用。论文共计10页,包含12张图表和5个表格,所有代码和模型将在论文发表后开源。