Soofi聯合體釋出Soofi S 30B-A3B：面向德語和英語的開放混合Mamba-Transformer MoE基礎模型

一個德國研究聯合體釋出了Soofi S 30B-A3B的預訓練報告。這是一個面向德語和英語的開放基礎模型。訓練全程在慕尼黑的德國電信工業AI雲上進行。預覽權重已上傳至Hugging Face。值得注意的是，在測試的完全開放基礎模型中，Soofi S在英語和德語綜合得分上取得最高成績。

Soofi S 30B-A3B是什麼？

Soofi S是一種混合專家（MoE）混合Mamba Transformer基礎模型。引數總量約316億，每token啟用約32億。作為基礎模型，它沒有經過指令微調、對齊或安全微調。KI Bundesverband協調該聯合體，由德國聯邦經濟事務和能源部資助。參與者包括Fraunhofer IAIS、DFKI、達姆施塔特工業大學、ellamind和Merantix Momentum。

架構如何工作？

效率聲稱始於層堆疊。網路共有52層：23個Mamba-2序列混合層、23個細粒度MoE層和6個分組查詢注意力（GQA）層。只有這6個GQA層維護KV快取。每個MoE層有128個路由專家，每token啟用6個，並增加2個共享專家。其他細節：模型維度2688，平方ReLU，RMSNorm，無位置嵌入。

Soofi S採用Nemotron 3 Nano參考設計，未做修改。研究團隊給出三個理由：可在vLLM等堆疊上部署、服務效率、科學控制。由於骨幹固定，Nemotron 3 Nano成為架構相同的基線。資料配方是唯一的變數。

訓練配方：三個階段消耗約26.68萬億token

該配方遵循Warmup-Stable-Decay（WSD）排程，帶有minus_sqrt衰減段。第一階段消耗約20萬億token，在1e-3平臺上使用多樣化的質量分級混合。第二階段消耗約6.58萬億token的高質量退火資料，從1e-3衰減到1e-5，然後保持在1e-5。第三階段消耗約0.10萬億token，序列長度1048576，將可用上下文視窗擴充套件到100萬token。

德語是有意為之的變數。它從第一階段有效token的7.2%上升到第二階段15.32%。參考Nemotron 3 Nano混合分配約5%給所有非英語語言。德語來源包括HPLT v3和v4、German Commons、German FinePDFs和FineWiki。Genios增加了來自916家報紙和行業期刊檔案的1.93億篇文章，已商業授權。

基礎設施遵循同樣的主權邏輯。執行使用了最多512塊NVIDIA B200 GPU，時間從2026年3月24日到5月13日。消耗約253,000 B200 GPU小時。

效能

這些選擇在評估中體現。Soofi S與其他16個開放基礎模型進行了比較。全部使用相同的lm-evaluation-harness流程、提示和少樣本設定。

與架構相同的參考模型相比，Soofi S在英語綜合得分上提高1.8個百分點，德語提高4.2，保留英語提高6.7。這隔離了資料配方與骨幹網路的影響。

與更大的開放權重模型相比，情況有所不同。Qwen3.5 35B-A3B在英語、德語和保留均分上保持最高。Soofi S在英語上得分70.1，與Gemma 3 27B的70.3和Ministral 3 14B的70.3相當。在德語上，它以79.1領先兩者的78.4和78.3。

執行基礎模型

重現這些結果需要權重。基礎倉庫是門控預覽，並附帶自定義建模程式碼。

在哪裡適用？

綜合來看，這些數字表明三種部署形式。第一，德語文件工作：GLP-DE 88.8和INCLUDE-DE 61.2適合保險公司針對保單PDF進行微調。第二，雙語程式碼輔助：MBPP-DE 84.2適合團隊用德語提示Python任務。第三，高併發長上下文服務：批次32和40K上下文的支援工單RAG系統符合測量場景。對於這種情況，應測試針對RULER和NaturalQuestions差距的檢索。

關鍵要點

Soofi S啟用316億引數中的32億；52層中僅6層持有KV快取。

它在完全開放的基礎模型中領先：英語綜合70.1%，德語79.1%。

德語在第二階段混合佔比15.32%，而Nemotron中多語言約佔5%。

解碼速度在40K上下文下比14-24B密集模型快8-9倍，從4K到256K保持平穩。

開放差距：長輸入下的RULER提取、事實回憶、門控預覽權重、未最終確定許可。