Cohere、エージェントワークフロー向け218BスパースMoEモデル「Command A+」をリリース、H100 GPU2台で動作可能

Cohereはこのたび、エンタープライズ向けエージェントワークフローに特化したオープンソースモデルCommand A+をリリースしました。本モデルはApache 2.0ライセンスの下で公開され、最小限の計算オーバーヘッドで高性能なエージェントタスクを実現するよう設計されています。Command A+は、従来の4つのCommand Aモデル（Command A、Command A Reasoning、Command A Vision、Command A Translate）の機能を1つに統合し、スケーラブルな単一モデルとして提供されます。

アーキテクチャ面では、Command A+はデコーダのみのスパースMoE Transformerであり、総パラメータ数は218Bですが、推論時にアクティブになるのは25Bパラメータのみです。128のエキスパートを持ち、各トークンに対して8つのエキスパートがアクティブになり、さらに全トークンに共有エキスパートが適用されます。この設計により、大規模なパラメータを保ちつつ、推論時の計算量を25Bスケールに抑えています。アテンション層はスライディングウィンドウアテンションとグローバルアテンションを3:1の比率で交互に配置し、回転位置埋め込みを採用しています。スパースMoE層はドロップレストレーニングで学習され、トークン選択ルーターを使用し、各トークンは正規化シグモイドによりtop-kのエキスパートを選択します。

Command A+はテキスト、画像、ツール使用を入力として受け付け、テキスト、推論、ツール使用を出力します。入力コンテキスト長は128K、最大生成長は64Kです。ハードウェア要件に関しては、Cohereは3つの量子化バリアントを提供しています：BF16は4×B200または8×H100 GPU、FP8は2×B200または4×H100 GPU、W4A4（4ビット量子化）は1台のB200または2台のH100 GPUで動作します。3つの量子化間のベンチマーク品質の差は無視できる程度であり、CohereはほとんどのデプロイメントにW4A4を推奨しています。W4A4量子化はNVFP4方式を採用し、MoEエキスパートのみに4ビットの重みとアクティベーション量子化（2段階スケーリング）を適用し、アテンションパスはフル精度を維持します。量子化による品質ギャップを埋めるため、Cohereは学習後段階で量子化認識蒸留（QAD）を使用し、量子化された学生モデルがフル精度の教師の出力分布を模倣するよう学習します。

パフォーマンス面では、Command A+は前世代モデルから大幅な向上を遂げています。τ²-Bench Telecomではスコアが37%から85%に向上し、Terminal-Bench Hardのエージェントコーディングタスクでは3%から25%に向上しました。Cohere内部のNorthプラットフォーム評価では、LLM-as-a-judge手法を用いた評価で、エージェント質問応答の精度がCommand A Reasoning比で20%向上、スプレッドシート分析の品質が32%向上、メモリ使用品質（エージェントが前回のセッションからの情報を活用して後続の質問に回答する能力）が39%から54%に向上しました。Cohere初のマルチモーダル推論モデルとして、Command A+はMMMU Proで63%、MMMUで75.1%（Command A Visionの65.3%に対し）を達成し、MathVistaでは73.5%から80.6%、CharXiv推論では46.9%から52.7%に改善しました。多言語サポートは23言語から48言語に拡大され、機械翻訳と多言語推論の性能が向上しています。本モデルはArtificial Analysis Intelligence Indexで37点を獲得し、他の主要なオープンモデルを上回りました。

速度とレイテンシに関しては、同じ量子化と同時実行レベルで、Command A+はCommand A Reasoningと比較して出力トークン/秒（TOPS）が最大63%向上し、初回トークン到着時間（TTFT）が最大17%短縮されています。W4A4量子化はさらに47%の速度向上と13%のレイテンシ低減に貢献しています。MoEアーキテクチャに最適化された投機的デコードにより、テキストおよびマルチモーダル入力に対し1.5〜1.6倍の推論高速化が実現されています。

Command A+はCohereの最新トークナイザーを採用した最初のモデルであり、トークン化効率が大幅に向上しました：アラビア語で20%、韓国語で16%、日本語で18%の改善が見られます。モデルはvLLMおよびTransformersでサポートされており、ツール使用はTransformersのチャットテンプレートを介してJSONスキーマでツール記述を行います。推論を有効にすると、モデルは最終回答を生成する前に思考過程を出力します。W4A4バリアントはvLLM ≥0.21.0とcohere_melody>=0.9.0を必要とします。Cohereが推奨するサンプリングパラメータはtemperature=0.9、top_p=0.95、repetition_penalty=1.04です。

総じて、Command A+はその効率的なスパースMoEアーキテクチャ、低ハードウェア要件、顕著な性能向上、そして広範な多言語・マルチモーダルサポートにより、エンタープライズのエージェントワークフローに強力なオープンソースソリューションを提供します。Cohereはモデルウェイトと技術詳細を公開しており、コミュニティでの活用を歓迎しています。