Zyphra釋出ZAYA1-8B：基於AMD硬體訓練的小型推理MoE模型，效能遠超其體量

Zyphra AI釋出了ZAYA1-8B，一款僅有7.6億活躍引數的小型混合專家（MoE）語言模型，但在數學和程式設計基準測試中擊敗了多個體量更大的開源模型。該模型採用MoE++架構，包含壓縮卷積注意力（CCA）、MLP路由器和PID控制器偏置平衡等創新，並引入了馬爾可夫遞迴自聚合（Markovian RSA）測試時計算方法，在HMMT'25上超越Claude 4.5 Sonnet，逼近DeepSeek-V3.2。模型完全在AMD Instinct MI300硬體上訓練，並以Apache 2.0許可釋出。