Bilibili は、Index-1.9B シリーズのオープン小型言語モデルに関するテクニカルレポートを公開しました。このシリーズは4つのモデルから構成されています：Index-1.9B-Base は19億の非埋め込みパラメータを持つ基盤モデルで、主に中国語と英語の2.8兆トークンで事前学習されています。Index-1.9B-Pure は同一のレシピで学習された対照変種ですが、コーパスからすべての指示データが厳密にフィルタリングされており、指示データの影響を評価するために使用されます。Index-1.9B-Chat は、ベースモデルから教師ありファインチューニング（SFT）と直接選好最適化（DPO）によってアライメントされており、対話シナリオに適応しています。Index-1.9B-Character は、検索拡張生成（RAG）を活用してチャットモデルを拡張し、少数ショットのロールプレイカスタマイズを可能にします。これにより、特定のキャラクターを演じる対話が実現します。
事前学習では、Warmup-Stable-Decay 学習率スケジュールを採用し、初期にウォームアップを行い、その後一定の学習率を維持し、減衰フェーズ中に厳選データの濃度を大幅に高めています。さらに、Norm-Head 出力層により大きな学習率下でのトレーニングを安定化しています。これらの技術的革新により、Index-1.9B-Base は試験、推論、数学、コードをカバーする標準ベンチマーク群において平均スコア64.92を達成し、数倍の規模のオープンモデルと競合またはそれを上回る性能を示しました。
研究チームはさらに、モデルの深さ、学習率の大きさとスケジューリング、学習率減衰とデータ品質の相互作用、事前学習中の指示データの影響に関する対照研究を実施しました。特に、一定学習率フェーズの中間でベンチマーク性能が説明不能な急上昇を示した点が注目されます。これは、現在の事前学習ダイナミクスの理解が不完全であることを示唆しており、今後の研究課題となっています。すべてのモデルと評価コードは GitHub で公開されており、論文では26ページにわたって実験設定と結果が詳細に報告されています。