簡單狀態空間模型在多變量時間序列分類中表現出色
研究表明，結構化狀態空間模型中的對角變體S4D在時間序列分類任務上比複雜的Mamba架構更準確且高效。作者提出的輕量級改進MS4和MS4N進一步提升了性能，在59個數據集上優於Mamba模型，並匹敵參數量大2倍和10倍的深度學習模型。
文章情報
工程師進階
要點
- S4D架構在時間序列分類中一致優於Mamba變體，挑戰了複雜性帶來收益的假設。
- 新提出的MS4和MS4N模型通過線性輸入投影和通道混合等輕量修改，進一步提升了效率與準確性。
- 在59個數據集上的測試顯示，MS4和MS4N性能優於Mamba，且與參數規模大10倍的模型相當。
為甚麼重要
這條新聞值得關注，因為S4D架構在時間序列分類中一致優於Mamba變體，挑戰了複雜性帶來收益的假設。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
近日，一篇提交至arXiv的論文揭示了結構化狀態空間模型（SSM）在時間序列分類（TSC）領域的重大進展。該研究由Hassan Saadatmand、Geoffrey I. Webb、Hamid Rezatofighi和Mahsa Salehi共同完成，首次系統比較了對角SSM（S4D）與輸入依賴SSM（Mamba系列）在大型TSC基準上的表現。令人驚訝的是，S4D在準確性和效率上均持續優於Mamba變體，這一發現顛覆了“更高複雜性必然帶來更好性能”的普遍假設。
基於S4D，研究團隊提出了兩種輕量級改進模型：MS4和MS4N。MS4通過線性輸入投影和通道混合機制增強S4D，而MS4N進一步引入歸一化以穩定狀態動態。在包含MONSTER（多達6000萬樣本、5萬時間步、82個類別）和UEA基準的59個數據集上，與15個基線模型相比，MS4和MS4N不僅全面超越Mamba架構，而且保持更高的效率。更令人印象深刻的是，MS4N的性能足以匹敵甚至超越參數規模是其2倍和10倍的深度學習模型。
這些結果表明，輕量級結構化SSM是時間序列分類中擴大複雜性的有力替代方案。研究團隊已公開代碼和模型，以供進一步驗證和應用。論文還附帶arXiv上的HTML版本和PDF下載鏈接。