Index SLM 技术报告

Bilibili 近日发布了 Index-1.9B 系列开源小型语言模型的技术报告，该系列由四款模型构成，旨在为社区提供高效且易于部署的小型语言模型。其中，Index-1.9B-Base 是预训练基础模型，拥有 19 亿非嵌入参数，基于 2.8 万亿以中英文为主的 token 进行训练，覆盖了广泛的自然语言理解任务。Index-1.9B-Pure 作为对照变体，采用相同的训练方法，但严格过滤了所有指令类数据，以研究指令数据对模型性能的影响。Index-1.9B-Chat 则是在基础模型上通过监督微调（SFT）和直接偏好优化（DPO）进行对齐，从而适应对话场景。Index-1.9B-Character 进一步扩展了 Chat 模型，引入检索增强生成（RAG）机制，支持少样本的角色扮演定制，使其在特定角色对话中表现出色。

在预训练阶段，研究团队采用了 Warmup-Stable-Decay 学习率调度策略，在训练初期进行热身，随后进入恒定学习率阶段，最后在衰减阶段大幅提高精选数据的浓度，以优化模型在关键数据上的学习效果。同时，他们引入了 Norm-Head 输出层，该设计有助于在大学习率下稳定训练过程，避免梯度爆炸等问题。这些技术创新使得 Index-1.9B-Base 在涵盖考试、推理、数学和代码的标准基准测试中取得了平均 64.92 分的成绩，与数倍于其规模的开放模型相比具有竞争力，甚至在某些任务上表现更优。

除了基础性能评估，研究团队还进行了一系列对照研究，包括模型深度的影响、学习率大小与调度策略的作用、学习率衰减与数据质量的交互效应，以及预训练中包含指令数据对最终性能的影响。有趣的是，他们发现在恒定学习率阶段中期，基准性能出现了一次无法解释的突增现象，这表明当前对预训练动态的理解仍不完整，值得进一步探索。所有模型及评估代码已在 GitHub 上开源，相关论文以 26 页篇幅详细记录了各项实验设置与结论，为小型语言模型的研究提供了宝贵参考。