Cohere は本日、North Mini Code をリリースしました。これは、新しいモデルファミリーの最初のもので、エージェント型ソフトウェアエンジニアリングタスクに特化して設計されています。このモデルは300億パラメータのMixture-of-Expertsモデルで、アクティブパラメータは30億であり、Apache 2.0ライセンスの下でHugging Face上で提供されています。
North Mini Code は、エージェント型コーディングタスクと複雑なコード生成ベンチマークで優れた性能を発揮します。Artificial Analysis のコーディングインデックスでは33.4のスコアを記録し、Qwen3.5 (35B-A3B)、Gemma 4 (26B-A4B)、Devstral Small 2 (24B Dense) などのモデルを上回り、さらに大規模な Nemotron 3 Super (120B-A12B) なども凌駕しています。同サイズクラスのオープンソースコーディングモデルの中で最強クラスです。
アーキテクチャは、デコーダのみのTransformerベースのスパースMixture-of-Expertsモデルです。効率的なアテンション実装を採用し、スライディングウィンドウアテンションとグローバルアテンションを3:1の比率でインターリーブしています。フィードフォワードブロックはMoEブロックで、128のエキスパートがあり、トークンごとに8つが活性化されます。ルーターはtop-k選択の前にロジットにシグモイド活性化関数を適用します。
訓練に関しては、Cohere は2段階の教師ありファインチューニング（SFT）と、検証可能な報酬を用いた強化学習（RLVR）からなるポストトレーニングパイプラインを採用し、エージェント型コーディングに焦点を当てています。第1段階のSFTデータはコーディング能力に重点を置き、コードデータセットが訓練可能トークンの70%を占め、そのうち43%がエージェント型ツール使用データ、27%がシングルターンの競技的または科学的プログラミングデータです。第2段階のSFTでは、エージェント型および推論駆動型サンプルのみからなる45億トークンのデータ混合を使用し、コードデータは訓練可能トークンの61%を占めます。
異なるコーディングエージェントフレームワーク間での堅牢性を確保するため、North Mini Code は第2段階SFTで少量の追加ベンチマークフレームワークデータを導入しています。このクロスフレームワーク汎化アプローチにより、モデルは様々な環境で高い性能を維持できます。
強化学習フェーズでは、サンプリングと学習を分離する非同期RLループを採用し、ウィンドウ化されたFIFOキューとCISPO目的関数を使用しています。複数の環境を対象とした単一のオンラインRLトレーニング実行により、ターミナルタスクとソフトウェアエンジニアリングタスクの両方をカバーし、SWE-Bench Verified と Terminal-Bench v2 で大幅な改善を達成しました。
要約すると、North Mini Code は、Cohere によるエージェント型コーディング分野への重要な進歩であり、開発者に強力でオープンソースのツールを提供します。