Zyphra發佈ZAYA1-8B：基於AMD硬件訓練的小型推理MoE模型，性能遠超其體量

Zyphra AI發佈了ZAYA1-8B，一款僅有7.6億活躍參數的小型混合專家（MoE）語言模型，但在數學和編程基準測試中擊敗了多個體量更大的開源模型。該模型採用MoE++架構，包含壓縮卷積注意力（CCA）、MLP路由器和PID控制器偏置平衡等創新，並引入了馬爾可夫遞歸自聚合（Markovian RSA）測試時計算方法，在HMMT'25上超越Claude 4.5 Sonnet，逼近DeepSeek-V3.2。模型完全在AMD Instinct MI300硬件上訓練，並以Apache 2.0許可發佈。