計算資源とネットワーク接続が厳しく制限されたタジク斯坦において、大規模言語モデルを実際に展開するにはどうすればよいのか。新たな論文がその答えを提示している。Soroは、タジク語に特化した対話型大規模言語モデルファミリーであり、現実の導入環境における厳しい制約下での運用を目的として設計された。
Soroの出発点は、オープンウェイトのGemma 3チェックポイントである。研究チームはゼロから訓練するのではなく、継続事前学習という戦略を採用し、タジク語データのみを用いてモデルを深く適応させた。彼らは、フィルタリングされたウェブテキスト、PDF文書、および現地のカリキュラムに沿った教育資料からなる19億トークンのコーパスを丹念に構築。この段階で、モデルはタジク語の言語的特徴と領域知識を十分に吸収する。
継続事前学習を終えた後、チームはさらに教師あり指示チューニングを実施した。ここでは4万件のタジク語教師スタイルの例を使用。これらの例は、実際の教育現場における質疑応答や説明の仕方を模倣しており、Soroがより自然で現地の教育習慣に沿った形でユーザーと対話できるようにする。
タジク語モデルの評価における大きな課題は、標準ベンチマークにおけるタジク語のカバレッジが極めて限られていることだ。そこで研究チームは、一般知識、言語能力、学校および大学入学試験の領域をカバーするタジク語ベンチマークスイートを独自に構築し、Hugging Face上でオープンソース化した。
実験の結果、これらのタジク語ベンチマークにおいて、Soroは同サイズのGemma 3ベースラインモデルを大幅に上回る性能を示した。同時に、標準的な英語データセットにおいても強力な性能を維持している。これは、低資源言語に対する特化が汎用能力を犠牲にしないことを証明している。
エッジ展開への適応に向けて、チームは量子化技術の影響も調査した。SoroをFP8およびINT4で量子化したところ、タジク語の性能向上の大部分が保持され、同時にメモリ要件が大幅に削減されることが判明。これにより、リソースが限られたデバイス上での実行が可能となり、タジク斯坦の学校や教育機関にとって実行可能な展開策が提供される。
現在、Soroは進行中の教育分野のパイロットを支援しており、タジク斯坦各地の学校での規模拡大が計画されている。この研究は、対象を絞ったデータ戦略と軽量化技術を通じて、大規模言語モデルをより多くの言語コミュニティに届ける方法を示している。論文番号はarXiv:2605.27379v1で、Stanislav Liashkov氏ら6名の著者により、2026年4月9日に提出された。