MiLSD:面向資源受限裝置的微型線段檢測器
線段檢測是視覺SLAM、3D重建和工業檢測的關鍵模組。現有深度學習方法雖精度高,但最小模型也需數兆位元組記憶體,超出低成本MCU的容量。本文研究亞兆位元組預算下的最大可達精度,提出MiLSD——針對MCU約束設計的檢測器,系統比較緊湊全卷積骨幹網路中的三種輸出表示,發現所提出的F-Clip中心-長度-角度公式在小模型規模下學習效率最高。8位量化可保持全精度效能,而4位量化導致顯著退化,尤其角度迴歸,量化感知訓練僅能部分恢復損失。在1兆位元組啟用預算下,結合亞畫素解碼、測試時增強和輕量驗證器,MiLSD將ShanghaiTech Wireframe上的sAP10從10.6(25k引數,0.25 MB)提升至24.1。本文不試圖與GPU級解析器競爭,而是繪製了嵌入式視覺系統中不同表示、位寬、容量和後處理策略下的精度-記憶體權衡圖。
線段檢測是計算機視覺中的一項基礎任務,廣泛應用於視覺同步定位與地圖構建(SLAM)、三維重建以及工業檢測等領域。近年來,基於深度學習的方法顯著提升了檢測精度,但即便是最小的模型也需要數兆位元組的記憶體,這遠遠超出了低成本微控制器單元(MCU)的容量限制。例如,常見的ARM Cortex-M系列MCU通常只有幾百KB到幾MB的RAM,無法容納現有的深度學習線段檢測模型。因此,在亞兆位元組(sub-MB)記憶體預算下實現高精度線段檢測成為一個關鍵挑戰。
在這篇於2026年7月7日提交的論文中,來自Parsa Hassani Shariat Panahi等三位作者的研究團隊提出了MiLSD(Micro Line-Segment Detector),一種專為MCU級資源約束設計的微型線段檢測器。該工作系統性地探索了在緊湊的全卷積骨幹網路中,三種不同的輸出表示對模型效能的影響:標準的熱圖迴歸、偏移量回歸以及他們提出的F-Clip中心-長度-角度公式。實驗結果表明,F-Clip公式在小模型規模下學習效率最高,能夠更有效地利用有限的引數和記憶體資源。例如,在僅有25k引數(0.25 MB)的基線上,F-Clip表示就展現出了優於其他表示的效能。
在模型量化方面,研究團隊發現8位量化幾乎可以無損地保持全精度模型的效能,這使得模型可以在低功耗MCU上高效執行。然而,4位量化會導致顯著的精度下降,尤其是在角度迴歸方面,即使採用量化感知訓練也只能部分恢復損失的效能。這一發現對於邊緣裝置上的模型部署具有重要指導意義。
為了在1兆位元組的啟用預算內進一步提升效能,MiLSD引入了多種推理增強技術:亞畫素解碼可以提高線段的定位精度,測試時資料增強能夠增加預測的魯棒性,而輕量級驗證器則用於過濾掉低質量的檢測結果。透過這些技術的組合,MiLSD在ShanghaiTech Wireframe資料集上的sAP10指標從基線模型的10.6提升至24.1,效能提升超過一倍,同時記憶體佔用保持在1 MB以內。
值得注意的是,該工作並不旨在與GPU級的大規模解析器競爭,而是專注於為嵌入式視覺系統繪製精度-記憶體的權衡曲線。論文系統地比較了不同輸出表示、位寬(8位與4位)、模型容量(從25k引數到更大規模)以及後處理策略(如亞畫素解碼、測試時增強和驗證器)對精度和記憶體消耗的影響。這些結果可以指導工程師根據具體應用場景(如機器人、無人機、工業感測器)的裝置限制,選擇合適的模型配置。
MiLSD的提出填補了高精度線段檢測與低功耗嵌入式裝置之間的空白,使得在成本敏感的物聯網終端、微型無人機以及工業感測器上部署即時視覺演算法成為可能。未來工作可以進一步探索模型壓縮技術(如知識蒸餾、權重共享)以及硬體協同設計,以推動線段檢測在邊緣計算場景中的更廣泛應用。論文共計10頁,包含12張圖表和5個表格,所有程式碼和模型將在論文發表後開源。