面向端到端射頻頻譜監測的邊緣高效Transformer
E-SpecFormer是一種邊緣高效的Transformer，用於自動調變和隱蔽通道識別。它引入了LiTAN注意力機制，無需Softmax和LayerNorm，降低了複雜度並提高了精度。有四種規模變體，其中Nano變體在RadioML2018資料集上SNR>0 dB時平均準確率86.5%，在基於硬體木馬的CC資料集上準確率94.2%，引數少於1萬，在FPGA/CPU協同執行時每幀僅需92微秒，超越了現有邊緣模型。該成果為物聯網裝置的即時頻譜智慧提供了高效解決方案。
研究人員提出了一種名為E-SpecFormer（Edge Spectrum monitoring Transformer）的新型邊緣高效Transformer架構，用於端到端的自動調變識別和隱蔽通道（CC）識別。該工作由Zhifan Song等人完成，發表於arXiv預印本。E-SpecFormer的核心創新在於引入了LiTAN（Linear Tanh Attention Network）注意力機制，該機制完全摒棄了傳統的Softmax和LayerNorm操作，從而在降低計算複雜度的同時，提升了射頻任務中的識別精度。
E-SpecFormer提供了四種可擴充套件的變體，即Nano、Small、Medium和Large，以適應不同硬體裝置的約束。在RadioML2018資料集上進行的調變識別測試中，最小的Nano變體在訊雜比（SNR）大於0 dB的條件下達到了86.5%的平均準確率。而在基於硬體木馬（HT）的隱蔽通道資料集上，Nano變體更是取得了94.2%的準確率。令人驚訝的是，這些效能均是在引數數量少於1萬的情況下實現的，並且當採用FPGA與CPU協同執行時，每幀的處理速度僅需92微秒。這大幅超越了現有的最先進邊緣模型，同時成本僅為它們的一小部分。
這些實驗結果確立E-SpecFormer作為一種邊緣高效的解決方案，專為物聯網（IoT）裝置上的即時頻譜智慧而設計。隨著物聯網裝置的普及，對低功耗、高效能的頻譜監測技術需求日益增長，E-SpecFormer的提出為此提供了新的可能。模型的程式碼和預訓練權重已在GitHub上開源，方便研究者和開發者進一步驗證和應用。
總結來說，E-SpecFormer透過創新的注意力機制和輕量級設計，在保持高精度的同時，極大地降低了計算和資源需求，為邊緣端射頻頻譜監測開闢了新的道路。未來的工作可能包括在更多實際場景中的部署測試，以及進一步最佳化模型以適應更廣泛的硬體平臺。