QIMMA قِمّة ⛰：品質優先のアラビア語LLMリーダーボード

QIMMA（アラビア語「قمّة」の音写、意味は「頂上」）は、新しいアラビア語大規模言語モデル（LLM）のリーダーボードであり、その核となる理念は「品質優先」です。従来のリーダーボードとは異なり、QIMMAは既存のアラビア語ベンチマークをそのまま使用するのではなく、モデルを評価する前にベンチマーク自体の品質を厳格に検証します。研究チームは、広く使われているアラビア語ベンチマークにも体系的な品質問題が含まれており、評価結果を静かに歪めていることを発見しました。

アラビア語は4億人以上が使用する言語ですが、アラビア語自然言語処理（NLP）の評価環境は断片化しています。多くのベンチマークは英語からの翻訳であり、翻訳の不適切さや文化的なミスマッチが存在します。ネイティブのアラビア語ベンチマークでさえ、厳格な品質チェックが欠如しており、アノテーションの矛盾、誤った正解、符号化エラー、文化的バイアスなどが文書化されています。さらに、既存のリーダーボードは限られたタスクと狭いドメインをカバーし、再現性も不足しています。

QIMMAはこれらのギャップを埋めます。14のソースベンチマークから109のサブセット（合計52,000以上のサンプル）を統合し、7つのドメインをカバーしています：文化（AraDiCE-Cultureなど）、STEM（ArabicMMLU）、法律（ArabLegalQA）、医療（MedArabiQ）、安全性（AraTrust）、詩と文学（FannOrFlop）、そしてコード（HumanEval+とMBPP+のアラビア語適応版）。QIMMAはアラビア語LLM向けとして初めてコード評価を含む点が特筆されます。

品質検証がQIMMAの中心的な貢献です。検証プロセスは2段階で構成されます。第1段階では、2つの強力な多言語モデル（Qwen3-235B-A22B-InstructとDeepSeek-V3-671B）が各サンプルを独立して評価し、10点満点の基準（回答品質、テキスト形式、文化的敏感性など）でスコアを付けます。両方のモデルが7点未満と判断したサンプルは即座に破棄され、一方のみがフラグを立てたサンプルは第2段階の人間によるレビューに回されます。人間のレビューアはアラビア語母語話者であり、文化的文脈、方言の違い、主観的な解釈について最終判断を下します。

検証結果は警鐘を鳴らすものでした。例えば、ArabicMMLUでは約3.1%のサンプルが破棄され、MizanQAでは2.3%、PalmXでは0.8%が破棄されました。問題の種類には、誤った正解やインデックスの不一致、テキストの破損やスペルミス、ステレオタイプなどの文化的敏感性问题、そして正解と評価プロトコルの不一致が含まれます。コードベンチマークでは修正率がさらに高く、3LM HumanEval+のアラビア語プロンプトの88%、3LM MBPP+の81%が変更されました。主な修正は言語の洗練、明瞭性の向上、構造の修正です。

ランキング結果（2026年4月時点）は興味深いパターンを示しています。トップ10のモデルはパラメータ数が32Bから397Bまで様々で、規模が必ずしも優位性をもたらすわけではありません。1位はQwen3.5-397B-A17B-FP8で平均スコア68.06でしたが、文化関連タスクではアラビア語特化モデルに劣りました。2位のKarnakと3位のJais-2-70B-ChatはそれぞれSTEMと法律分野でリードしています。アラビア語特化モデルは文化タスクで強みを発揮する一方、コードタスクは最も困難な領域であり、多言語モデル（Qwenシリーズなど）がHumanEval+とMBPP+でより高いスコアを獲得しています。

QIMMAは、品質優先の哲学、マルチモデル検証、人間レビュー、包括的なドメインカバレッジ、そして完全に公開された出力結果を通じて、アラビア語LLM評価の新たな基準を打ち立てました。研究者らは、このリーダーボードがより信頼性の高いモデルランキングを提供するだけでなく、既存のベンチマークの欠点を明らかにし、将来のより高品質な評価リソース構築への道筋を示すものだと述べています。