NEST：通过面向机制的混合专家模型应对数据集级分布漂移
NEST是一种专门设计的框架，通过两阶段密集MoE架构建模和重组数据集中的演化结构。它首先在矩-熵空间中进行无监督聚类，将数据集划分为不同的运行机制，然后利用面向机制的路由器机制生成初始专家权重，并通过几何调制进行优化。专家作为专门的内核，捕获机制特有的动态。在多种基准测试中，NEST取得了最先进的性能。
长期时间序列预测在复杂系统中常因数据集级分布漂移而失效，这种漂移源于多种潜在行为模式和系统状态的演化。现有方法大多关注局部时间漂移，但未能建模数据集的全局结构——即不同运行机制的复合体。为此，研究团队提出NEST框架，采用两阶段密集混合专家（MoE）架构来显式建模和重组这些演化结构。
NEST的第一阶段通过无监督聚类在矩-熵空间中将数据集划分为不同的运行机制，实现结构专门化。矩-熵空间是一个理论驱动的特征空间，能够有效区分数据的内在模式。第二阶段引入面向机制的路由器机制：首先根据时间内容生成初始专家权重，再通过几何调制向机制质心精化。这种设计使得路由器能够动态地为每个时间点分配最相关的专家。
与传统方法将专家视为单一预测器不同，NEST中的每个专家充当专门的内核，通过演化独特的变量注意力模式来捕获机制特定的动态。这种设计允许专家专注于学习某类运行模式的时序依赖关系，从而提升预测精度。
在异构网络流量和物理现象等多个基准测试上，NEST一致取得了最先进的性能。实验表明，该方法在处理复杂、多模式的时间序列时具有显著优势。此外，研究团队已公开代码和数据集，以促进相关领域的进一步研究。代码和数据集可在https://github.com/Aaralshin/NEST获取。