Zyphra发布ZAYA1-8B：基于AMD硬件训练的小型推理MoE模型，性能远超其体量

Zyphra AI发布了ZAYA1-8B，一款仅有7.6亿活跃参数的小型混合专家（MoE）语言模型，但在数学和编程基准测试中击败了多个体量更大的开源模型。该模型采用MoE++架构，包含压缩卷积注意力（CCA）、MLP路由器和PID控制器偏置平衡等创新，并引入了马尔可夫递归自聚合（Markovian RSA）测试时计算方法，在HMMT'25上超越Claude 4.5 Sonnet，逼近DeepSeek-V3.2。模型完全在AMD Instinct MI300硬件上训练，并以Apache 2.0许可发布。