Bilibili 近日發佈了 Index-1.9B 系列開源小型語言模型的技術報告，該系列由四款模型構成，旨在為社區提供高效且易於部署的小型語言模型。其中，Index-1.9B-Base 是預訓練基礎模型，擁有 19 億非嵌入參數，基於 2.8 萬億以中英文為主的 token 進行訓練，覆蓋了廣泛的自然語言理解任務。Index-1.9B-Pure 作為對照變體，採用相同的訓練方法，但嚴格過濾了所有指令類數據，以研究指令數據對模型性能的影響。Index-1.9B-Chat 則是在基礎模型上通過監督微調（SFT）和直接偏好優化（DPO）進行對齊，從而適應對話場景。Index-1.9B-Character 進一步擴展了 Chat 模型，引入檢索增強生成（RAG）機制，支持少樣本的角色扮演定製，使其在特定角色對話中表現出色。
在預訓練階段，研究團隊採用了 Warmup-Stable-Decay 學習率調度策略，在訓練初期進行熱身，隨後進入恆定學習率階段，最後在衰減階段大幅提高精選數據的濃度，以優化模型在關鍵數據上的學習效果。同時，他們引入了 Norm-Head 輸出層，該設計有助於在大學習率下穩定訓練過程，避免梯度爆炸等問題。這些技術創新使得 Index-1.9B-Base 在涵蓋考試、推理、數學和代碼的標準基準測試中取得了平均 64.92 分的成績，與數倍於其規模的開放模型相比具有競爭力，甚至在某些任務上表現更優。
除了基礎性能評估，研究團隊還進行了一系列對照研究，包括模型深度的影響、學習率大小與調度策略的作用、學習率衰減與數據質量的交互效應，以及預訓練中包含指令數據對最終性能的影響。有趣的是，他們發現在恆定學習率階段中期，基準性能出現了一次無法解釋的突增現象，這表明當前對預訓練動態的理解仍不完整，值得進一步探索。所有模型及評估代碼已在 GitHub 上開源，相關論文以 26 頁篇幅詳細記錄了各項實驗設置與結論，為小型語言模型的研究提供了寶貴參考。