RightNow-Arabic-0.5B-Turbo：語彙注入とエッジ優先デプロイメントによるオープンなサブ10億アラビア語言語モデル
本論文は、Qwen2.5-0.5Bをベースに語彙注入とエッジ優先デプロイメントを採用した518Mパラメータのアラビア語特化LLM、RightNow-Arabic-0.5B-Turboを提案する。アラビア語ベンチマークで平均精度35.9%を達成し、同クラスのオープンモデルを凌駕。COPA-arではFalcon-H1-1.5Bと同等の成績を1/3のサイズで達成。量子化後は398MB、単一H100上で635トークン/秒の推論速度を実現する。
記事インテリジェンス
要点
- Qwen2.5-0.5Bをベースに27,032のアラビア語トークンを追加した518Mパラメータのアラビア語LLM。
- 3つのアラビア語ベンチマークで平均精度35.9%を達成し、同クラスの全オープンモデルを上回る。
- COPA-arでFalcon-H1-1.5Bと同等（58.4%）ながらパラメータ数は1/3、SILMA-9Bの性能の67%を1/18のパラメータで実現。
- 量子化により398MB（q4_k_m）に圧縮、単一H100上でバッチサイズ1で635トークン/秒のエッジ展開が可能。
重要な理由
このニュースが重要なのは、Qwen2.5-0.5Bをベースに27,032のアラビア語トークンを追加した518Mパラメータのアラビア語LLMためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
RightNow AIの研究チームは、アラビア語に特化したオープンソースの大規模言語モデル「RightNow-Arabic-0.5B-Turbo」を発表しました。このモデルはパラメータ数わずか518Mでありながら、語彙注入技術を駆使してQwen2.5-0.5Bをベースに構築され、アラビア語の理解と生成能力を大幅に向上させています。
トレーニングでは、504Mのアラビア語トークンを用いた継続事前学習を実施。FSDP、FlashAttention varlen packing、Liger fused kernelなどの効率的な技術を活用し、その後129,116組のアラビア語指示データによる教師ありファインチューニング、6,750組の選好データを用いた直接選好最適化（DPO）を適用。さらに、3つのチェックポイントをウェイトスープ（weight soup）法で統合し、性能を最大化しています。
アラビア語ベンチマークでは、COPA-ar、Arabic HellaSwag、ArabicMMLUの3タスクで平均精度35.9%を記録し、同規模のオープンモデルを全て凌駕。特筆すべきは、COPA-arにおいてFalcon-H1-1.5Bと同等の58.4%を1/3のパラメータ数で達成した点です。また、SILMA-9Bの性能の67%を1/18のパラメータ数で実現しています。
エッジデプロイメントを重視した設計により、量子化（q4_k_m）後のモデルサイズは398MBにまで縮小。単一のNVIDIA H100 GPU上でバッチサイズ1の場合、635トークン/秒の推論速度を達成し、リソース制約のある環境でも実用的です。
研究チームは、コード（25スクリプト、5,555行）、重み（bf16、int8、4種類のGGUF量子化形式）、ベンチマークスクリプトのすべてをHugging Faceで公開しています。本研究は、中規模アラビア語専用モデルの空白を埋め、アラビア語AIアプリケーションの普及に貢献するものと言えます。