Hebatron是一款專為希伯來語設計的開源權重大語言模型，基於NVIDIA Nemotron-3稀疏混合專家（MoE）架構構建。該模型的總引數量為300億，但每次前向傳播僅啟用30億引數，從而實現了高效推理。訓練過程採用三階段由易到難的課程學習策略，並輔以連續的反遺忘錨定機制，隨後在200萬條希伯來語-英語雙語樣本上進行監督微調。研究團隊發現，課程順序本身就能帶來3個百分點的基準效能提升。
在效能方面，Hebatron在希伯來語推理任務上取得了73.8%的平均準確率，超越了此前的最佳模型DictaLM-3.0-24B-Thinking（68.9%），並在GSM8K-HE和以色列常識問答等基準測試中與Gemma-3-27B-IT不相上下。得益於MoE架構，Hebatron在保持原生65,536個token上下文長度的同時，推理吞吐量約為同等規模模型的9倍。據研究者稱，這是首次將Nemotron-3架構適配到特定語言的嘗試，也是首個支援原生長上下文的希伯來語開源MoE模型。模型權重現已公開，以促進希伯來語及閃米特語自然語言處理的進一步研究。
Hebatron的釋出對於低資源語言NLP領域具有重要意義。它展示瞭如何將高效MoE架構用於特定語言，在保持效能的同時大幅降低推理成本。未來，該模型有望推動希伯來語語音助手、機器翻譯和資訊檢索等應用的發展。此外，其開源特性鼓勵社群參與改進和適配，可能為其他閃米特語類似模型奠定基礎。研究者計劃進一步最佳化訓練策略並擴充套件模型能力，使其更廣泛地服務於學術和工業界。