OpenLanguageModel：用于教育和研究的可读可组合小语言模型预训练
OpenLanguageModel (OLM) 是一个开源的 PyTorch 库，用于构建和预训练小型语言模型，同时保持其内部机制可见。模型代码直接反映架构，组件如 Block、Residual、Repeat 和 Parallel 描述连接方式。OLM 集成了分词器、数据集、优化、混合精度、回调、检查点以及硬件感知的执行，支持从教学笔记本到完整预训练的无缝迁移。该库包含 9 个常见模型家族的 27 个预设，并提供从基础到架构研究的文档。验证显示与独立参考实现高度一致，348M 参数模型在四 GPU 上弱扩展效率达 90.6%，且早期可用性反馈积极。OLM 采用 MIT 许可证，可通过 PyPI、GitHub 和文档站点获取。
OpenLanguageModel（简称OLM）是一个全新的开源PyTorch库，专门用于构建和预训练小型语言模型，同时保持其内部机制的完全透明。过去，许多人觉得深度学习模型如同一个黑盒，而OLM的设计理念正是要改变这一点：它的模型代码读起来就像架构图一样清晰。在OLM中，各个组件（如Block、Residual、Repeat和Parallel）直接描述了它们之间的连接方式，使得模型的结构一目了然。这意味着，同一个模型可以轻松地从教学用的Jupyter笔记本迁移到完整的预训练任务，或者用于研究中的消融实验，而无需任何代码修改。
OLM不仅仅是一个模型定义框架，它还集成了完整的预训练流水线。它提供了与分词器、本地及流式数据集、优化器、混合精度训练、回调函数、检查点保存以及硬件感知执行（支持CPU、单GPU和单节点多GPU）的接口。为了展示其强大功能，研究团队通过具体示例演示了整个流程：从GPT-2的架构图开始，编写对应的模型代码，启动一个基于FineWeb-Edu数据集的训练脚本，然后替换其中一个注意力组件，最后让AutoTrainer自动配置可用的硬件资源。这一过程直观地展示了OLM的灵活性和易用性。
OLM内置了来自九个常见模型家族（例如GPT、BERT等）的27个预设配置，并配有从语言模型基础到架构研究的渐进式文档。无论是在校学生、教育工作者还是资深研究人员，都能从中找到适合自己的学习或实验路径。该库的验证结果令人印象深刻：它与独立的参考实现高度一致；一个含有3.48亿参数的工作负载在四块GPU上实现了90.6%的弱扩展效率；架构编辑过程简洁明了；早期的可用性测试也获得了积极的反馈。
OLM采用MIT许可证发布，完全开源，任何人都可以通过PyPI、GitHub或专门的文档网站获取和使用。该论文于2026年7月18日提交至arXiv，作者包括Tavish Mankash等四人，共8页、3张图和1张表格。论文主题涵盖计算与语言、机器学习以及软件工程。OLM的推出有望在教育和研究社区中推动对小语言模型更深入的理解和广泛的应用。