跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Soro:面向塔吉克语的轻量级基础模型与聊天机器人

文章摘要

研究者推出Soro系列塔吉克语专用对话大模型,基于Gemma 3进行持续预训练和指令微调,并开源塔吉克语基准测试,在资源受限环境下实现边缘部署,已用于教育试点。

来源arXiv AI作者: Stanislav Liashkov, Haitz S\'aez de Oc\'ariz Borde, Azizjon Azimi, Khushbakht Shaymardonov, Shuhratjon Khalitbekov, Bonu Boboeva
Soro:面向塔吉克语的轻量级基础模型与聊天机器人
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在算力和网络连接都受到严格限制的塔吉克斯坦,如何让大语言模型真正落地服务当地用户?一篇新论文给出了答案:Soro,一个专为塔吉克语设计的对话式大语言模型系列,旨在满足真实部署环境下的严苛条件。

Soro的研究起点是开放权重的Gemma 3检查点。研究团队没有从零开始训练,而是采取了持续预训练的策略,仅使用塔吉克语数据对模型进行深度适配。他们精心构建了一个包含19亿token的语料库,数据来源涵盖经过过滤的网页文本、PDF文档以及与当地课程对齐的教育材料。这一步骤让模型充分吸收塔吉克语的语言特征和领域知识。

在完成持续预训练后,团队进一步实施了监督式指令微调,使用了4万条塔吉克语教师风格的示例。这些示例模拟了真实教学场景中的问答和解释方式,使Soro能够以更自然、更符合当地教育习惯的方式与用户交互。

评估塔吉克语模型的一大难题是标准基准测试中塔吉克语的覆盖极其有限。为此,研究团队专门构建了一套塔吉克语基准测试,覆盖通用知识、语言能力以及学校和大学入学考试等领域,并将这些基准开源在Hugging Face上,供后续研究使用。

实验结果显示,在这些塔吉克语基准上,Soro大幅超越了同等规模的Gemma 3基线模型,同时在标准英语数据集上仍保持了强劲的表现。这证明针对低资源语言的专门优化并不会以牺牲通用能力为代价。

为了适应边缘部署,团队还研究了量化技术的影响。他们发现,对Soro进行FP8和INT4量化后,大部分塔吉克语性能提升得以保留,同时显著降低了内存需求。这使得模型能够在资源受限的设备上运行,为塔吉克斯坦的学校和教育机构提供了可行的部署方案。

目前,Soro已经支持一项正在进行中的教育领域试点,并计划在塔吉克斯坦各地的学校中扩大规模。这项工作展示了如何通过针对性的数据策略和轻量化技术,让大语言模型惠及更多语言社区。论文编号为arXiv:2605.27379v1,由Stanislav Liashkov等六位作者共同完成,提交于2026年4月9日。

展开要点与分析

文章情报

投资人进阶

要点

  • Soro从开放权重的Gemma 3检查点出发,在19亿token的塔吉克语语料上进行持续预训练,并利用4万条教师风格示例进行指令微调。
  • 团队构建并开源了覆盖通用知识、语言能力和入学考试领域的塔吉克语基准测试,Soro在同等规模下显著优于Gemma 3基线。
  • FP8和INT4量化在降低内存需求的同时保留了大部分塔吉克语性能,支持在塔吉克斯坦学校进行边缘部署和教育试点。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。