在近期发表于arXiv的一篇论文中，研究人员提出了一种自动化的大规模搜索流水线，用于在LEMUR神经网络数据集生态系统中系统性地探索异构4专家混合专家（MoE4）架构。该工作建立在已有的手工设计的异构MoE参考模型之上，用确定性的代码组装生成器替代了人工设计过程。该生成器能够将LEMUR数据库中的基础架构家族系统地组合成MoE4集成模型，每个集成模型由一个带有温度缩放、mixup数据增强和余弦退火学习率调度的卷积门控网络控制。
研究团队在单块NVIDIA RTX 4090显卡上进行了为期28天的搜索活动。在此期间，流水线共生成4,463个候选模型，分为197个批次，其中1,021个模型被成功评估。这一规模展示了自动化搜索在架构探索中的潜力，同时也暴露了搜索策略设计中的关键问题。
一个重要的发现是覆盖率偏差。由于生成器使用itertools.combinations按字母顺序枚举，整个已探索的搜索空间——仅占理论23,751种可能的四家族组合的4.8%——被锚定在单一家族AirNet上。这意味着所有评估过的组合都包含AirNet，从而严重限制了搜索的多样性，无法全面评估其他家族之间的组合效果。作者精确描述了这种偏差，指出了生成器中的根本原因，并提出了分层随机采样的修正方案，以确保未来搜索能够均匀覆盖整个组合空间。
在AirNet锚定的范围内，分析显示ShuffleNet和MobileNetV3持续共同产生最高准确率的集成模型，平均准确率最高达到0.632。相反，FractalNet和MNASNet被识别为低产家族，建议在未来的搜索活动中排除。这些发现为异构MoE架构的设计提供了实用的指导，但也受限于搜索空间的偏差，因此需要在修正后的搜索中进一步验证。
该论文的流水线、分析产物和修正后的生成器已作为开源NNGPT项目的一部分发布在GitHub上，供社区复现和进一步研究。论文共8页，包含2张图，涉及机器学习、计算机视觉和软件工程等主题，展示了自动化架构搜索在神经网络设计中的潜力与挑战。