Hebatronは、NVIDIA Nemotron-3スパース混合エキスパート（MoE）アーキテクチャを基盤とする、ヘブライ語に特化したオープンウェイト大規模言語モデルです。総パラメータ数300億のうち、1回のフォワードパスで活性化されるのは30億パラメータのみであり、高い推論効率を実現します。学習プロセスは、3段階の易から難へのカリキュラムと継続的な忘却防止アンカリングを採用し、その後200万のヘブライ語-英語バイリンガルサンプルで教師あり微調整が行われました。研究チームは、カリキュラムの順序自体がベンチマークで3ポイントの改善をもたらすことを発見しました。
性能面では、Hebatronはヘブライ語推論タスクで平均73.8%の精度を達成し、従来の最高モデルDictaLM-3.0-24B-Thinking（68.9%）を上回り、GSM8K-HEやイスラエル関連トリビアなどのベンチマークでGemma-3-27B-ITに匹敵します。MoEアーキテクチャにより、ネイティブの65,536トークンコンテキスト長を維持しながら、同等規模のモデルと比較して約9倍の推論スループットを実現しています。研究者らによると、これはNemotron-3アーキテクチャを特定言語に適応させた初めての試みであり、ネイティブな長文脈をサポートする初のヘブライ語特化型オープンウェイトMoEモデルです。モデルの重みは公開されており、ヘブライ語およびセム語族の自然言語処理の研究を促進します。
Hebatronのリリースは、低リソース言語NLP分野において重要な意味を持ちます。効率的なMoEアーキテクチャを特定言語に応用し、性能を維持しながら推論コストを大幅に削減する方法を示しています。今後、ヘブライ語音声アシスタント、機械翻訳、情報検索などのアプリケーションでの活用が期待されます。また、オープンウェイトであるため、コミュニティによる改良や他のセム語への応用も可能です。研究チームは、さらなる訓練戦略の最適化とモデル能力の拡張を計画しており、学術界と産業界への広範な貢献を目指しています。