面向端到端射頻頻譜監測的邊緣高效Transformer
E-SpecFormer是一種邊緣高效的Transformer，用於自動調製和隱蔽信道識別。它引入了LiTAN注意力機制，無需Softmax和LayerNorm，降低了複雜度並提高了精度。有四種規模變體，其中Nano變體在RadioML2018數據集上SNR>0 dB時平均準確率86.5%，在基於硬件木馬的CC數據集上準確率94.2%，參數少於1萬，在FPGA/CPU協同執行時每幀僅需92微秒，超越了現有邊緣模型。該成果為物聯網設備的實時頻譜智能提供了高效解決方案。
研究人員提出了一種名為E-SpecFormer（Edge Spectrum monitoring Transformer）的新型邊緣高效Transformer架構，用於端到端的自動調製識別和隱蔽信道（CC）識別。該工作由Zhifan Song等人完成，發表於arXiv預印本。E-SpecFormer的核心創新在於引入了LiTAN（Linear Tanh Attention Network）注意力機制，該機制完全摒棄了傳統的Softmax和LayerNorm操作，從而在降低計算複雜度的同時，提升了射頻任務中的識別精度。
E-SpecFormer提供了四種可擴展的變體，即Nano、Small、Medium和Large，以適應不同硬件設備的約束。在RadioML2018數據集上進行的調製識別測試中，最小的Nano變體在信噪比（SNR）大於0 dB的條件下達到了86.5%的平均準確率。而在基於硬件木馬（HT）的隱蔽信道數據集上，Nano變體更是取得了94.2%的準確率。令人驚訝的是，這些性能均是在參數數量少於1萬的情況下實現的，並且當採用FPGA與CPU協同執行時，每幀的處理速度僅需92微秒。這大幅超越了現有的最先進邊緣模型，同時成本僅為它們的一小部分。
這些實驗結果確立E-SpecFormer作為一種邊緣高效的解決方案，專為物聯網（IoT）設備上的實時頻譜智能而設計。隨着物聯網設備的普及，對低功耗、高性能的頻譜監測技術需求日益增長，E-SpecFormer的提出為此提供了新的可能。模型的代碼和預訓練權重已在GitHub上開源，方便研究者和開發者進一步驗證和應用。
總結來説，E-SpecFormer通過創新的注意力機制和輕量級設計，在保持高精度的同時，極大地降低了計算和資源需求，為邊緣端射頻頻譜監測開闢了新的道路。未來的工作可能包括在更多實際場景中的部署測試，以及進一步優化模型以適應更廣泛的硬件平台。