OpenLanguageModel：用於教育和研究的可讀可組合小語言模型預訓練
OpenLanguageModel (OLM) 是一個開源的 PyTorch 庫，用於構建和預訓練小型語言模型，同時保持其內部機制可見。模型程式碼直接反映架構，元件如 Block、Residual、Repeat 和 Parallel 描述連線方式。OLM 整合了分詞器、資料集、最佳化、混合精度、回撥、檢查點以及硬體感知的執行，支援從教學筆記本到完整預訓練的無縫遷移。該庫包含 9 個常見模型家族的 27 個預設，並提供從基礎到架構研究的文件。驗證顯示與獨立參考實現高度一致，348M 引數模型在四 GPU 上弱擴充套件效率達 90.6%，且早期可用性反饋積極。OLM 採用 MIT 許可證，可透過 PyPI、GitHub 和文件站點獲取。
OpenLanguageModel（簡稱OLM）是一個全新的開源PyTorch庫，專門用於構建和預訓練小型語言模型，同時保持其內部機制的完全透明。過去，許多人覺得深度學習模型如同一個黑盒，而OLM的設計理念正是要改變這一點：它的模型程式碼讀起來就像架構圖一樣清晰。在OLM中，各個元件（如Block、Residual、Repeat和Parallel）直接描述了它們之間的連線方式，使得模型的結構一目瞭然。這意味著，同一個模型可以輕鬆地從教學用的Jupyter筆記本遷移到完整的預訓練任務，或者用於研究中的消融實驗，而無需任何程式碼修改。
OLM不僅僅是一個模型定義框架，它還整合了完整的預訓練流水線。它提供了與分詞器、本地及流式資料集、最佳化器、混合精度訓練、回撥函式、檢查點儲存以及硬體感知執行（支援CPU、單GPU和單節點多GPU）的介面。為了展示其強大功能，研究團隊透過具體示例演示了整個流程：從GPT-2的架構圖開始，編寫對應的模型程式碼，啟動一個基於FineWeb-Edu資料集的訓練指令碼，然後替換其中一個注意力元件，最後讓AutoTrainer自動配置可用的硬體資源。這一過程直觀地展示了OLM的靈活性和易用性。
OLM內建了來自九個常見模型家族（例如GPT、BERT等）的27個預設配置，並配有從語言模型基礎到架構研究的漸進式文件。無論是在校學生、教育工作者還是資深研究人員，都能從中找到適合自己的學習或實驗路徑。該庫的驗證結果令人印象深刻：它與獨立的參考實現高度一致；一個含有3.48億引數的工作負載在四塊GPU上實現了90.6%的弱擴充套件效率；架構編輯過程簡潔明瞭；早期的可用性測試也獲得了積極的反饋。
OLM採用MIT許可證釋出，完全開源，任何人都可以透過PyPI、GitHub或專門的文件網站獲取和使用。該論文於2026年7月18日提交至arXiv，作者包括Tavish Mankash等四人，共8頁、3張圖和1張表格。論文主題涵蓋計算與語言、機器學習以及軟體工程。OLM的推出有望在教育和研究社群中推動對小語言模型更深入的理解和廣泛的應用。