Soofi联合体发布Soofi S 30B-A3B：面向德语和英语的开放混合Mamba-Transformer MoE基础模型

一个德国研究联合体发布了Soofi S 30B-A3B的预训练报告。这是一个面向德语和英语的开放基础模型。训练全程在慕尼黑的德国电信工业AI云上进行。预览权重已上传至Hugging Face。值得注意的是，在测试的完全开放基础模型中，Soofi S在英语和德语综合得分上取得最高成绩。

Soofi S 30B-A3B是什么？

Soofi S是一种混合专家（MoE）混合Mamba Transformer基础模型。参数总量约316亿，每token激活约32亿。作为基础模型，它没有经过指令微调、对齐或安全微调。KI Bundesverband协调该联合体，由德国联邦经济事务和能源部资助。参与者包括Fraunhofer IAIS、DFKI、达姆施塔特工业大学、ellamind和Merantix Momentum。

架构如何工作？

效率声称始于层堆栈。网络共有52层：23个Mamba-2序列混合层、23个细粒度MoE层和6个分组查询注意力（GQA）层。只有这6个GQA层维护KV缓存。每个MoE层有128个路由专家，每token激活6个，并增加2个共享专家。其他细节：模型维度2688，平方ReLU，RMSNorm，无位置嵌入。

Soofi S采用Nemotron 3 Nano参考设计，未做修改。研究团队给出三个理由：可在vLLM等堆栈上部署、服务效率、科学控制。由于骨干固定，Nemotron 3 Nano成为架构相同的基线。数据配方是唯一的变量。

训练配方：三个阶段消耗约26.68万亿token

该配方遵循Warmup-Stable-Decay（WSD）调度，带有minus_sqrt衰减段。第一阶段消耗约20万亿token，在1e-3平台上使用多样化的质量分级混合。第二阶段消耗约6.58万亿token的高质量退火数据，从1e-3衰减到1e-5，然后保持在1e-5。第三阶段消耗约0.10万亿token，序列长度1048576，将可用上下文窗口扩展到100万token。

德语是有意为之的变量。它从第一阶段有效token的7.2%上升到第二阶段15.32%。参考Nemotron 3 Nano混合分配约5%给所有非英语语言。德语来源包括HPLT v3和v4、German Commons、German FinePDFs和FineWiki。Genios增加了来自916家报纸和行业期刊档案的1.93亿篇文章，已商业授权。

基础设施遵循同样的主权逻辑。运行使用了最多512块NVIDIA B200 GPU，时间从2026年3月24日到5月13日。消耗约253,000 B200 GPU小时。

性能

这些选择在评估中体现。Soofi S与其他16个开放基础模型进行了比较。全部使用相同的lm-evaluation-harness流程、提示和少样本设置。

与架构相同的参考模型相比，Soofi S在英语综合得分上提高1.8个百分点，德语提高4.2，保留英语提高6.7。这隔离了数据配方与骨干网络的影响。

与更大的开放权重模型相比，情况有所不同。Qwen3.5 35B-A3B在英语、德语和保留均分上保持最高。Soofi S在英语上得分70.1，与Gemma 3 27B的70.3和Ministral 3 14B的70.3相当。在德语上，它以79.1领先两者的78.4和78.3。

运行基础模型

重现这些结果需要权重。基础仓库是门控预览，并附带自定义建模代码。

在哪里适用？

综合来看，这些数字表明三种部署形式。第一，德语文档工作：GLP-DE 88.8和INCLUDE-DE 61.2适合保险公司针对保单PDF进行微调。第二，双语代码辅助：MBPP-DE 84.2适合团队用德语提示Python任务。第三，高并发长上下文服务：批量32和40K上下文的支持工单RAG系统符合测量场景。对于这种情况，应测试针对RULER和NaturalQuestions差距的检索。

关键要点

Soofi S激活316亿参数中的32亿；52层中仅6层持有KV缓存。

它在完全开放的基础模型中领先：英语综合70.1%，德语79.1%。

德语在第二阶段混合占比15.32%，而Nemotron中多语言约占5%。

解码速度在40K上下文下比14-24B密集模型快8-9倍，从4K到256K保持平稳。

开放差距：长输入下的RULER提取、事实回忆、门控预览权重、未最终确定许可。