OpenLanguageModel：用於教育和研究的可讀可組合小語言模型預訓練
OpenLanguageModel (OLM) 是一個開源的 PyTorch 庫，用於構建和預訓練小型語言模型，同時保持其內部機制可見。模型代碼直接反映架構，組件如 Block、Residual、Repeat 和 Parallel 描述連接方式。OLM 集成了分詞器、數據集、優化、混合精度、回調、檢查點以及硬件感知的執行，支持從教學筆記本到完整預訓練的無縫遷移。該庫包含 9 個常見模型家族的 27 個預設，並提供從基礎到架構研究的文檔。驗證顯示與獨立參考實現高度一致，348M 參數模型在四 GPU 上弱擴展效率達 90.6%，且早期可用性反饋積極。OLM 採用 MIT 許可證，可通過 PyPI、GitHub 和文檔站點獲取。
OpenLanguageModel（簡稱OLM）是一個全新的開源PyTorch庫，專門用於構建和預訓練小型語言模型，同時保持其內部機制的完全透明。過去，許多人覺得深度學習模型如同一個黑盒，而OLM的設計理念正是要改變這一點：它的模型代碼讀起來就像架構圖一樣清晰。在OLM中，各個組件（如Block、Residual、Repeat和Parallel）直接描述了它們之間的連接方式，使得模型的結構一目瞭然。這意味着，同一個模型可以輕鬆地從教學用的Jupyter筆記本遷移到完整的預訓練任務，或者用於研究中的消融實驗，而無需任何代碼修改。
OLM不僅僅是一個模型定義框架，它還集成了完整的預訓練流水線。它提供了與分詞器、本地及流式數據集、優化器、混合精度訓練、回調函數、檢查點保存以及硬件感知執行（支持CPU、單GPU和單節點多GPU）的接口。為了展示其強大功能，研究團隊通過具體示例演示了整個流程：從GPT-2的架構圖開始，編寫對應的模型代碼，啓動一個基於FineWeb-Edu數據集的訓練腳本，然後替換其中一個注意力組件，最後讓AutoTrainer自動配置可用的硬件資源。這一過程直觀地展示了OLM的靈活性和易用性。
OLM內置了來自九個常見模型家族（例如GPT、BERT等）的27個預設配置，並配有從語言模型基礎到架構研究的漸進式文檔。無論是在校學生、教育工作者還是資深研究人員，都能從中找到適合自己的學習或實驗路徑。該庫的驗證結果令人印象深刻：它與獨立的參考實現高度一致；一個含有3.48億參數的工作負載在四塊GPU上實現了90.6%的弱擴展效率；架構編輯過程簡潔明瞭；早期的可用性測試也獲得了積極的反饋。
OLM採用MIT許可證發佈，完全開源，任何人都可以通過PyPI、GitHub或專門的文檔網站獲取和使用。該論文於2026年7月18日提交至arXiv，作者包括Tavish Mankash等四人，共8頁、3張圖和1張表格。論文主題涵蓋計算與語言、機器學習以及軟件工程。OLM的推出有望在教育和研究社區中推動對小語言模型更深入的理解和廣泛的應用。