在开源阿拉伯语大模型领域，当前格局大致分为两类：一类是参数量低于10亿的多语言模型，如Qwen2.5-0.5B和Falcon-H1-0.5B，这些模型往往将阿拉伯语视为附带能力，并未针对阿拉伯语进行深度优化；另一类是70亿至700亿参数的阿拉伯语专用模型，如Jais、AceGPT、ALLaM和SILMA，它们虽然表现更好，但需要服务器级别的算力才能运行。此前唯一公开的亚20亿参数阿拉伯语专用模型尝试Kuwain-1.5B，却从未发布权重。这一空白使得资源受限场景下的阿拉伯语NLP应用受到限制。
为此，研究者提出了RightNow-Arabic-0.5B-Turbo，一个拥有5.18亿参数的阿拉伯语专用解码器LLM，它建立在Qwen2.5-0.5B的基础之上。该模型的训练流程包含几个关键步骤：首先，通过均值子词初始化方法向词表中注入27,032个阿拉伯语词元，这一操作旨在增强模型对阿拉伯语形态和词汇的覆盖能力。随后，研究者在8块H100 GPU上，利用FSDP（完全分片数据并行）、FlashAttention的变长打包以及Liger融合内核等技术，在5.04亿个阿拉伯语词元上继续预训练模型。这一阶段为模型注入了大量的阿拉伯语语言知识。
在预训练之后，研究团队进行了监督微调，使用129,116个阿拉伯语指令对，并采用仅对响应部分计算损失的掩码策略，以确保模型学习到遵循指令的能力。接着，他们应用直接偏好优化（DPO）在6,750个阿拉伯语偏好对上进行对齐，使模型的输出更符合人类偏好。最后，通过权重汤（weight soup）技术将三个检查点进行合并，以提升模型的鲁棒性和整体性能。
在评估方面，该模型在三个lm-evaluation-harness阿拉伯语基准上进行了测试：COPA-ar、阿拉伯语HellaSwag和ArabicMMLU。合并后的模型达到了35.9%的平均准确率，超越了所有同规模的开源模型。特别值得一提的是，在COPA-ar任务上，它以58.4%的准确率与参数量三倍于己的Falcon-H1-1.5B持平；同时，它以仅相当于SILMA-9B十八分之一的参数量，达到了后者平均性能的67%。这些结果展示了小参数量模型在特定语言上的巨大潜力。
为了推动边缘部署，研究团队还提供了量化版本。模型被量化为398 MB的q4_k_m格式，在单张H100 GPU上通过llama.cpp运行时，批大小为1的情况下可实现每秒635个词元的吞吐量。这一性能使得该模型非常适合在边缘设备或资源受限环境中部署。所有代码（25个脚本共5,555行）、权重（包括bf16、int8以及四种GGUF量化版本）和基准测试脚本均已在Hugging Face平台开源发布，地址为https://huggingface.co/RightNowAI/RightNow-Arabic-0.5B-Turbo。该工作为阿拉伯语NLP在低资源场景下的应用提供了重要的开源贡献。