在算力和网络连接都受到严格限制的塔吉克斯坦,如何让大语言模型真正落地服务当地用户?一篇新论文给出了答案:Soro,一个专为塔吉克语设计的对话式大语言模型系列,旨在满足真实部署环境下的严苛条件。
Soro的研究起点是开放权重的Gemma 3检查点。研究团队没有从零开始训练,而是采取了持续预训练的策略,仅使用塔吉克语数据对模型进行深度适配。他们精心构建了一个包含19亿token的语料库,数据来源涵盖经过过滤的网页文本、PDF文档以及与当地课程对齐的教育材料。这一步骤让模型充分吸收塔吉克语的语言特征和领域知识。
在完成持续预训练后,团队进一步实施了监督式指令微调,使用了4万条塔吉克语教师风格的示例。这些示例模拟了真实教学场景中的问答和解释方式,使Soro能够以更自然、更符合当地教育习惯的方式与用户交互。
评估塔吉克语模型的一大难题是标准基准测试中塔吉克语的覆盖极其有限。为此,研究团队专门构建了一套塔吉克语基准测试,覆盖通用知识、语言能力以及学校和大学入学考试等领域,并将这些基准开源在Hugging Face上,供后续研究使用。
实验结果显示,在这些塔吉克语基准上,Soro大幅超越了同等规模的Gemma 3基线模型,同时在标准英语数据集上仍保持了强劲的表现。这证明针对低资源语言的专门优化并不会以牺牲通用能力为代价。
为了适应边缘部署,团队还研究了量化技术的影响。他们发现,对Soro进行FP8和INT4量化后,大部分塔吉克语性能提升得以保留,同时显著降低了内存需求。这使得模型能够在资源受限的设备上运行,为塔吉克斯坦的学校和教育机构提供了可行的部署方案。
目前,Soro已经支持一项正在进行中的教育领域试点,并计划在塔吉克斯坦各地的学校中扩大规模。这项工作展示了如何通过针对性的数据策略和轻量化技术,让大语言模型惠及更多语言社区。论文编号为arXiv:2605.27379v1,由Stanislav Liashkov等六位作者共同完成,提交于2026年4月9日。