MiLSD:面向資源受限設備的微型線段檢測器
線段檢測是視覺SLAM、3D重建和工業檢測的關鍵模塊。現有深度學習方法雖精度高,但最小模型也需數兆字節內存,超出低成本MCU的容量。本文研究亞兆字節預算下的最大可達精度,提出MiLSD——針對MCU約束設計的檢測器,系統比較緊湊全卷積骨幹網絡中的三種輸出表示,發現所提出的F-Clip中心-長度-角度公式在小模型規模下學習效率最高。8位量化可保持全精度性能,而4位量化導致顯著退化,尤其角度迴歸,量化感知訓練僅能部分恢復損失。在1兆字節激活預算下,結合亞像素解碼、測試時增強和輕量驗證器,MiLSD將ShanghaiTech Wireframe上的sAP10從10.6(25k參數,0.25 MB)提升至24.1。本文不試圖與GPU級解析器競爭,而是繪製了嵌入式視覺系統中不同表示、位寬、容量和後處理策略下的精度-內存權衡圖。
線段檢測是計算機視覺中的一項基礎任務,廣泛應用於視覺同步定位與地圖構建(SLAM)、三維重建以及工業檢測等領域。近年來,基於深度學習的方法顯著提升了檢測精度,但即便是最小的模型也需要數兆字節的內存,這遠遠超出了低成本微控制器單元(MCU)的容量限制。例如,常見的ARM Cortex-M系列MCU通常只有幾百KB到幾MB的RAM,無法容納現有的深度學習線段檢測模型。因此,在亞兆字節(sub-MB)內存預算下實現高精度線段檢測成為一個關鍵挑戰。
在這篇於2026年7月7日提交的論文中,來自Parsa Hassani Shariat Panahi等三位作者的研究團隊提出了MiLSD(Micro Line-Segment Detector),一種專為MCU級資源約束設計的微型線段檢測器。該工作系統性地探索了在緊湊的全卷積骨幹網絡中,三種不同的輸出表示對模型性能的影響:標準的熱圖迴歸、偏移量回歸以及他們提出的F-Clip中心-長度-角度公式。實驗結果表明,F-Clip公式在小模型規模下學習效率最高,能夠更有效地利用有限的參數和內存資源。例如,在僅有25k參數(0.25 MB)的基線上,F-Clip表示就展現出了優於其他表示的性能。
在模型量化方面,研究團隊發現8位量化幾乎可以無損地保持全精度模型的性能,這使得模型可以在低功耗MCU上高效運行。然而,4位量化會導致顯著的精度下降,尤其是在角度迴歸方面,即使採用量化感知訓練也只能部分恢復損失的性能。這一發現對於邊緣設備上的模型部署具有重要指導意義。
為了在1兆字節的激活預算內進一步提升性能,MiLSD引入了多種推理增強技術:亞像素解碼可以提高線段的定位精度,測試時數據增強能夠增加預測的魯棒性,而輕量級驗證器則用於過濾掉低質量的檢測結果。通過這些技術的組合,MiLSD在ShanghaiTech Wireframe數據集上的sAP10指標從基線模型的10.6提升至24.1,性能提升超過一倍,同時內存佔用保持在1 MB以內。
值得注意的是,該工作並不旨在與GPU級的大規模解析器競爭,而是專注於為嵌入式視覺系統繪製精度-內存的權衡曲線。論文系統地比較了不同輸出表示、位寬(8位與4位)、模型容量(從25k參數到更大規模)以及後處理策略(如亞像素解碼、測試時增強和驗證器)對精度和內存消耗的影響。這些結果可以指導工程師根據具體應用場景(如機器人、無人機、工業傳感器)的設備限制,選擇合適的模型配置。
MiLSD的提出填補了高精度線段檢測與低功耗嵌入式設備之間的空白,使得在成本敏感的物聯網終端、微型無人機以及工業傳感器上部署實時視覺算法成為可能。未來工作可以進一步探索模型壓縮技術(如知識蒸餾、權重共享)以及硬件協同設計,以推動線段檢測在邊緣計算場景中的更廣泛應用。論文共計10頁,包含12張圖表和5個表格,所有代碼和模型將在論文發表後開源。