arXiv は 2026 年 10 月 21 日に、論文「AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining」を公開した（arXiv:2610.30344v1、cs.CL 計算と言語、cs.LG 機械学習にクロスリスト）。著者は Houssam Eddine Boukhalfa ほか 2 名で、15 ページ、図 7 点、表 10 点からなる。投稿日時は 2026 年 10 月 21 日 19:04:28 UTC、ファイルサイズは約 930 KB、DOI は https://doi.org/10.48550/arXiv.2610.30344（DataCite による発行で、登録は保留中）である。
研究背景として、本論文はアラビア語大規模言語モデルの訓練が抱える三つの課題を挙げる。すなわち、ウェブデータのノイズの多さ、方言差（dialectal variation）、そして継続事前学習（continual pretraining、CPT）の高いコストである。これに対し著者らは、多言語 LLM を現代標準アラビア語（Modern Standard Arabic、MSA）へ適応させるための時間・資源効率の高いフレームワーク AQL-Lite（AQL は Arabic Quality Language の略）を提案する。
手法面では、AQL-Lite は二つの要素を結合している。第一に「品質優先」のデータキュレーションパイプラインであり、構造的クリーニング、ヒューリスティックおよびモデルベースのフィルタリング、MSA 選択、重複排除を含む。第二に部分パラメータ CPT のレシピであり、ネットワーク全体に RS-LoRA アダプタを訓練するとともに、最後の 8 個の Transformer ブロックと埋め込み行列を解凍し、層別学習率（layer-wise learning rates）の下で訓練する。
実験結果として、同一の 10 億トークン予算では、AQL でキュレーションしたデータによる CPT は、生のウェブテキストによる CPT と比べて 4 つのアラビア語ベンチマークの平均を 3.51 ポイント向上させた。一方、生ウェブテキストによる CPT はベースモデルに対してまったく利得をもたらさなかった。制御された 50 億トークンの比較では、AQL-Lite は実時間（wall-clock time）の 52% で全パラメータ CPT の利得の 94% を回復し（平均 73.19 対 73.58）、アダプタのみのベースラインをすべてのベンチマークで上回った。コンポーネント別のアブレーションでは、アダプタ、解凍したブロック、埋め込み訓練のそれぞれが寄与していることが示された。
規模拡張については、400 億 MSA トークンへ拡大し、100 万件の例で指示チューニングを行った結果、得られた 120 億パラメータモデルは、7 ベンチマークからなる Open Arabic LLM Leaderboard v2（OALL v2）スイートで 75.3 を記録した。論文は、注意深くキュレーションされたコーパス上での部分パラメータ CPT が、効率的な MSA 適応への実用的な道筋であると結論づけている。読者は arXiv ページから PDF、実験用 HTML 版、TeX ソースを取得でき、音声要約、参考文献・引用ツール（Semantic Scholar、Google Scholar など）、alphaXiv、Hugging Face、CatalyzeX といった関連リソースへのリンクも提供されている。