ZyphraがZAYA1-8Bを公開：AMDハードウェアでトレーニングされた小型推論MoEモデル、サイズをはるかに超える性能

Zyphra AIはZAYA1-8Bを公開しました。これは7億6000万のアクティブパラメータを持つ小型混合専門家（MoE）言語モデルで、数学とコーディングのベンチマークで何倍ものサイズのモデルを凌駕します。MoE++アーキテクチャを採用し、圧縮畳み込みアテンション（CCA）、MLPベースのルーター、学習済み残差スケーリングなどの革新に加え、マルコフ再帰的自己集約（Markovian RSA）と呼ばれる新しいテスト時計算手法を導入しています。モデルはAMD Instinct MI300ハードウェアで完全にトレーニングされ、Apache 2.0ライセンスで公開されています。