オープンなアラビア語大規模言語モデル（LLM）の分野は、現在二つのカテゴリーに分かれています。一つは、Qwen2.5-0.5BやFalcon-H1-0.5Bのような10億パラメータ未満の多言語モデルで、これらはアラビア語を後回しに扱う傾向があります。もう一つは、Jais、AceGPT、ALLaM、SILMAのような70億から700億パラメータのアラビア語特化モデルで、実行にはサーバーを必要とします。20億パラメータ未満のアラビア語特化モデルとして公開された唯一の試みであるKuwain-1.5Bは、重みを公開しませんでした。このような背景から、リソース制約のある環境でのアラビア語NLPアプリケーションには大きなギャップが存在していました。
そこで研究者らは、RightNow-Arabic-0.5B-Turboを提案しました。これは5.18億パラメータのアラビア語特化デコーダLLMであり、Qwen2.5-0.5Bを基盤としています。トレーニングパイプラインにはいくつかの重要なステップがあります。まず、平均サブトークン初期化手法を用いて27,032個のアラビア語トークンを語彙に注入し、アラビア語の形態論や語彙へのカバレッジを強化します。次に、8台のH100 GPU上で、FSDP（完全シャードデータ並列）、FlashAttentionの可変長パッキング、Liger融合カーネルを活用し、5.04億個のアラビア語トークンで継続事前学習を行います。この段階でモデルに大量のアラビア語言語知識が注入されます。
事前学習後、研究チームは129,116個のアラビア語指示ペアを用いた教師あり微調整（SFT）を実施し、応答部分のみに損失を計算するマスキング戦略を採用して指示追従能力を学習させました。続いて、6,750個のアラビア語選好ペアに対する直接選好最適化（DPO）を適用し、人間の選好に沿った出力を実現しました。最後に、3つのチェックポイントをウェイトスープ技術でマージし、モデルの堅牢性と全体的な性能を向上させています。
評価は、lm-evaluation-harnessの3つのアラビア語ベンチマーク（COPA-ar、アラビア語HellaSwag、ArabicMMLU）で行われました。マージ後のモデルは平均35.9%の精度を達成し、同クラスのオープンモデルをすべて上回りました。特に、COPA-arタスクでは58.4%の精度で、3倍のパラメータを持つFalcon-H1-1.5Bと同等の性能を示しました。また、SILMA-9Bの平均性能の67%を、18分の1のパラメータ数で達成しています。これらの結果は、小規模モデルが特定言語において大きな可能性を秘めていることを示しています。
エッジ展開を促進するため、研究チームは量子化バージョンも提供しています。モデルは398 MBのq4_k_m形式に量子化され、単一のH100 GPU上でllama.cppを介して実行した場合、バッチサイズ1で毎秒635トークンのスループットを実現します。この性能により、エッジデバイスやリソース制約のある環境での展開が可能になります。コード（25スクリプト、合計5,555行）、重み（bf16、int8、および4種類のGGUF量子化を含む）、ベンチマークスクリプトはすべてHugging Face（https://huggingface.co/RightNowAI/RightNow-Arabic-0.5B-Turbo）でオープンソースとして公開されています。この研究は、低リソース環境におけるアラビア語NLPの応用に重要なオープンソースの貢献をしています。