Bilibili 近日釋出了 Index-1.9B 系列開源小型語言模型的技術報告，該系列由四款模型構成，旨在為社群提供高效且易於部署的小型語言模型。其中，Index-1.9B-Base 是預訓練基礎模型，擁有 19 億非嵌入引數，基於 2.8 萬億以中英文為主的 token 進行訓練，覆蓋了廣泛的自然語言理解任務。Index-1.9B-Pure 作為對照變體，採用相同的訓練方法，但嚴格過濾了所有指令類資料，以研究指令資料對模型效能的影響。Index-1.9B-Chat 則是在基礎模型上透過監督微調（SFT）和直接偏好最佳化（DPO）進行對齊，從而適應對話場景。Index-1.9B-Character 進一步擴充套件了 Chat 模型，引入檢索增強生成（RAG）機制，支援少樣本的角色扮演定製，使其在特定角色對話中表現出色。
在預訓練階段，研究團隊採用了 Warmup-Stable-Decay 學習率排程策略，在訓練初期進行熱身，隨後進入恆定學習率階段，最後在衰減階段大幅提高精選資料的濃度，以最佳化模型在關鍵資料上的學習效果。同時，他們引入了 Norm-Head 輸出層，該設計有助於在大學習率下穩定訓練過程，避免梯度爆炸等問題。這些技術創新使得 Index-1.9B-Base 在涵蓋考試、推理、數學和程式碼的標準基準測試中取得了平均 64.92 分的成績，與數倍於其規模的開放模型相比具有競爭力，甚至在某些任務上表現更優。
除了基礎效能評估，研究團隊還進行了一系列對照研究，包括模型深度的影響、學習率大小與排程策略的作用、學習率衰減與資料質量的互動效應，以及預訓練中包含指令資料對最終效能的影響。有趣的是，他們發現在恆定學習率階段中期，基準效能出現了一次無法解釋的突增現象，這表明當前對預訓練動態的理解仍不完整，值得進一步探索。所有模型及評估程式碼已在 GitHub 上開源，相關論文以 26 頁篇幅詳細記錄了各項實驗設定與結論，為小型語言模型的研究提供了寶貴參考。