简单状态空间模型在多变量时间序列分类中表现出色
研究表明，结构化状态空间模型中的对角变体S4D在时间序列分类任务上比复杂的Mamba架构更准确且高效。作者提出的轻量级改进MS4和MS4N进一步提升了性能，在59个数据集上优于Mamba模型，并匹敌参数量大2倍和10倍的深度学习模型。
文章情报
工程师进阶
要点
- S4D架构在时间序列分类中一致优于Mamba变体，挑战了复杂性带来收益的假设。
- 新提出的MS4和MS4N模型通过线性输入投影和通道混合等轻量修改，进一步提升了效率与准确性。
- 在59个数据集上的测试显示，MS4和MS4N性能优于Mamba，且与参数规模大10倍的模型相当。
为什么重要
这条新闻值得关注，因为S4D架构在时间序列分类中一致优于Mamba变体，挑战了复杂性带来收益的假设。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
近日，一篇提交至arXiv的论文揭示了结构化状态空间模型（SSM）在时间序列分类（TSC）领域的重大进展。该研究由Hassan Saadatmand、Geoffrey I. Webb、Hamid Rezatofighi和Mahsa Salehi共同完成，首次系统比较了对角SSM（S4D）与输入依赖SSM（Mamba系列）在大型TSC基准上的表现。令人惊讶的是，S4D在准确性和效率上均持续优于Mamba变体，这一发现颠覆了“更高复杂性必然带来更好性能”的普遍假设。
基于S4D，研究团队提出了两种轻量级改进模型：MS4和MS4N。MS4通过线性输入投影和通道混合机制增强S4D，而MS4N进一步引入归一化以稳定状态动态。在包含MONSTER（多达6000万样本、5万时间步、82个类别）和UEA基准的59个数据集上，与15个基线模型相比，MS4和MS4N不仅全面超越Mamba架构，而且保持更高的效率。更令人印象深刻的是，MS4N的性能足以匹敌甚至超越参数规模是其2倍和10倍的深度学习模型。
这些结果表明，轻量级结构化SSM是时间序列分类中扩大复杂性的有力替代方案。研究团队已公开代码和模型，以供进一步验证和应用。论文还附带arXiv上的HTML版本和PDF下载链接。