面向端到端射频频谱监测的边缘高效Transformer
E-SpecFormer是一种边缘高效的Transformer，用于自动调制和隐蔽信道识别。它引入了LiTAN注意力机制，无需Softmax和LayerNorm，降低了复杂度并提高了精度。有四种规模变体，其中Nano变体在RadioML2018数据集上SNR>0 dB时平均准确率86.5%，在基于硬件木马的CC数据集上准确率94.2%，参数少于1万，在FPGA/CPU协同执行时每帧仅需92微秒，超越了现有边缘模型。该成果为物联网设备的实时频谱智能提供了高效解决方案。
研究人员提出了一种名为E-SpecFormer（Edge Spectrum monitoring Transformer）的新型边缘高效Transformer架构，用于端到端的自动调制识别和隐蔽信道（CC）识别。该工作由Zhifan Song等人完成，发表于arXiv预印本。E-SpecFormer的核心创新在于引入了LiTAN（Linear Tanh Attention Network）注意力机制，该机制完全摒弃了传统的Softmax和LayerNorm操作，从而在降低计算复杂度的同时，提升了射频任务中的识别精度。
E-SpecFormer提供了四种可扩展的变体，即Nano、Small、Medium和Large，以适应不同硬件设备的约束。在RadioML2018数据集上进行的调制识别测试中，最小的Nano变体在信噪比（SNR）大于0 dB的条件下达到了86.5%的平均准确率。而在基于硬件木马（HT）的隐蔽信道数据集上，Nano变体更是取得了94.2%的准确率。令人惊讶的是，这些性能均是在参数数量少于1万的情况下实现的，并且当采用FPGA与CPU协同执行时，每帧的处理速度仅需92微秒。这大幅超越了现有的最先进边缘模型，同时成本仅为它们的一小部分。
这些实验结果确立E-SpecFormer作为一种边缘高效的解决方案，专为物联网（IoT）设备上的实时频谱智能而设计。随着物联网设备的普及，对低功耗、高性能的频谱监测技术需求日益增长，E-SpecFormer的提出为此提供了新的可能。模型的代码和预训练权重已在GitHub上开源，方便研究者和开发者进一步验证和应用。
总结来说，E-SpecFormer通过创新的注意力机制和轻量级设计，在保持高精度的同时，极大地降低了计算和资源需求，为边缘端射频频谱监测开辟了新的道路。未来的工作可能包括在更多实际场景中的部署测试，以及进一步优化模型以适应更广泛的硬件平台。