arXiv 於 2026 年 10 月 21 日釋出了一篇題為《AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining》的論文（編號 arXiv:2610.30344v1，屬於 cs.CL 計算與語言方向，交叉 cs.LG 機器學習）。作者為 Houssam Eddine Boukhalfa 及另外兩位合作者，論文共 15 頁、7 幅圖、10 張表，提交時間為 2026 年 10 月 21 日 19:04:28 UTC，檔案約 930 KB，DOI 為 https://doi.org/10.48550/arXiv.2610.30344（由 DataCite 發放，註冊尚待完成）。
研究背景方面，論文指出訓練阿拉伯語大語言模型面臨三重困難：網路資料噪聲嚴重、方言差異顯著（dialectal variation），以及持續預訓練（continual pretraining，CPT）成本高昂。針對這些問題，作者提出 AQL-Lite（AQL 即 Arabic Quality Language）框架，目標是以時間和資源高效的方式，將多語言大模型適配到現代標準阿拉伯語（Modern Standard Arabic，MSA）。
方法上，AQL-Lite 由兩部分耦合而成。其一是“質量優先”的資料整理流水線，包含結構化清洗、基於啟發式規則與基於模型的過濾、MSA 語種篩選以及去重等步驟。其二是部分引數持續訓練配方：在網路各處訓練 RS-LoRA 介面卡，同時解凍最後八個 Transformer 塊與嵌入矩陣，並採用分層學習率（layer-wise learning rates）。
實驗結果顯示，在匹配的 10 億 token 預算下，使用 AQL 整理資料進行 CPT 可使四項阿拉伯語基準的平均分相比原始網路文本 CPT 提升 3.51 分；而後者相對基座模型沒有任何增益。在受控的 50 億 token 對比實驗中，AQL-Lite 在 52% 的實際耗時（wall-clock time）內，恢復了全引數 CPT 增益的 94%（平均分 73.19 對 73.58），並在每一項基準上均優於僅使用介面卡的基線。元件消融實驗表明，介面卡、解凍的 Transformer 塊以及嵌入訓練三者各自均有貢獻。
在規模擴充套件方面，作者將方法擴充套件到 400 億 MSA token，並在 100 萬條示例上進行指令微調，最終得到的 120 億引數模型在包含七項基準的 Open Arabic LLM Leaderboard v2（OALL v2）評測套件上取得 75.3 分。論文結論認為，在精心整理語料上進行部分引數 CPT，是實現高效 MSA 適配的一條切實可行路徑。讀者可透過 arXiv 頁面獲取 PDF、實驗性 HTML 版本及 TeX 原始碼，頁面並提供音訊摘要、參考文獻與引用工具（如 Semantic Scholar、Google Scholar）、以及 alphaXiv、Hugging Face、CatalyzeX 等關聯資源連結。