Soofiコンソーシアム、ドイツ語と英語向けのオープンハイブリッドMamba-Transformer MoE基盤モデル「Soofi S 30B-A3B」を公開

ドイツの研究コンソーシアムが、Soofi S 30B-A3Bの事前学習レポートを公開しました。これはドイツ語と英語に対応したオープンベースモデルです。トレーニングはミュンヘンのドイツテレコム工業AIクラウドでエンドツーエンドで実行されました。プレビュー用の重みはHugging Faceで公開されています。注目すべきは、テストされた完全にオープンなベースモデルの中で、Soofi Sが英語とドイツ語の総合スコアで最高を記録したことです。

Soofi S 30B-A3Bとは？

Soofi Sは混合エキスパート（MoE）ハイブリッドMamba Transformer基盤モデルです。総パラメータ数は約316億、毎トークン約32億が活性化されます。ベースモデルであるため、インストラクションチューニング、アライメント、セーフティチューニングは行われていません。KI Bundesverbandがコンソーシアムを調整し、ドイツ連邦経済エネルギー省からの資金提供を受けています。参加機関にはFraunhofer IAIS、DFKI、ダルムシュタット工科大学、ellamind、Merantix Momentumが含まれます。

アーキテクチャの仕組み

効率性の主張はレイヤースタックから始まります。ネットワークは52層で構成されています。内訳は、23のMamba-2シーケンス混合層、23の細粒度MoE層、6つのグループ化クエリアテンション（GQA）層です。KVキャッシュを保持するのはこれら6つのGQA層のみです。各MoE層は128のルーティングエキスパートを持ち、トークンあたり6つが活性化され、さらに2つの共有エキスパートが追加されます。その他の詳細：モデル次元2688、二乗ReLU、RMSNorm、位置埋め込みなし。

Soofi SはNemotron 3 Nano参照設計を変更せずに採用しています。研究チームはその理由として、vLLMなどのスタックへのデプロイ容易性、サービング効率、科学的制御の3つを挙げています。バックボーンが固定されているため、Nemotron 3 Nanoはアーキテクチャが同一のベースラインとなります。データレシピのみが可変部分です。

トレーニングレシピ：約26.68兆トークンを3フェーズで消費

このレシピは、minus_sqrt減衰セグメントを伴うWarmup-Stable-Decay（WSD）スケジュールに従います。フェーズ1では、多様で品質階層化された混合データを用いて、約20兆トークンを1e-3のプラトーで消費しました。フェーズ2では、約6.58兆トークンの高品質アニーリングデータを消費し、1e-3から1e-5に減衰し、その後1e-5で一定に保ちました。フェーズ3では、約0.10兆トークンをシーケンス長1,048,576トークンで消費し、使用可能なコンテキストウィンドウを最大100万トークンに拡張しました。

ドイツ語は意図的な変数です。フェーズ1の有効トークンの7.2%からフェーズ2では15.32%に増加しました。参照のNemotron 3 Nano混合では、非英語言語全体に約5%を割り当てています。ドイツ語のソースには、HPLT v3およびv4、German Commons、German FinePDFs、FineWikiが含まれます。Geniosは、916の新聞や業界誌アーカイブから1億9300万記事を商用ライセンスで追加しています。

インフラストラクチャも同じ主権ロジックに従っています。実行には最大512基のNVIDIA B200 GPUを使用し、2026年3月24日から5月13日まで実施されました。約253,000 B200 GPU時間を消費しました。

パフォーマンス

これらの選択は評価に表れています。Soofi Sは他の16のオープンベースモデルと比較されました。すべて同じlm-evaluation-harnessパイプライン、プロンプト、少数ショット設定を使用しています。

アーキテクチャが同一の参照モデルと比較して、Soofi Sは英語総合で1.8ポイント、ドイツ語で4.2ポイント、保留英語で6.7ポイントの向上を達成しました。これにより、データレシピがバックボーンから分離されています。

より大規模なオープンウェイトモデルと比較すると状況は異なります。Qwen3.5 35B-A3Bが英語、ドイツ語、保留平均で最高を維持しています。Soofi Sの英語スコア70.1は、Gemma 3 27Bの70.3およびMinistral 3 14Bの70.3と同等です。ドイツ語では79.1で、両者（78.4および78.3）をリードしています。

ベースモデルの実行

これらの結果を再現するには、ウェイトから始めます。ベースリポジトリはゲート付きプレビューであり、カスタムモデリングコードが付属しています。

適用先

総合的に、これらの数値は3つのデプロイ形態を示唆しています。第一に、ドイツ語文書処理：GLP-DE 88.8とINCLUDE-DE 61.2は、保険会社が保険約款PDFをファインチューニングするのに適しています。第二に、バイリンガルコード支援：MBPP-DE 84.2は、Pythonタスクに対してドイツ語でプロンプトを入力するチームに適しています。第三に、高並列長コンテキストサービング：バッチサイズ32、40KコンテキストのサポートチケットRAGシステムが測定されたレジームに一致します。その場合、RULERおよびNaturalQuestionsのギャップに対する検索をテストする必要があります。

重要なポイント

Soofi Sは316億パラメータ中32億を活性化し、52層中6層のみがKVキャッシュを保持します。

完全にオープンなベースモデルをリード：英語総合70.1%、ドイツ語総合79.1%。

ドイツ語はフェーズ2の混合で15.32%を占め、Nemotronの多言語約5%と対照的。

デコード速度は40Kコンテキストで14-24Bの高密度モデルより8-9倍速く、4Kから256Kまで一定。

未解決のギャップ：長入力時のRULER抽出、事実想起、ゲート付きプレビューウェイト、未確定のライセンス。