社区开发者微调OpenBMB的MiniCPM5-1B模型：基于Claude Fable 5数据，打造657MB本地推理模型

一位社区开发者GnLOLot发布了一个1B参数的模型，该模型完全在本地硬件上运行。模型名为MiniCPM5-1B-Claude-Opus-Fable5-Thinking，提供了GGUF格式，兼容llama.cpp等运行时。它不需要API密钥，也不涉及云端调用。

模型基础 该模型基于openbmb/MiniCPM5-1B。这是一个来自OpenBMB的正式发布版本，拥有1.08B参数，采用标准的LlamaForCausalLM架构。它包含24层、分组查询注意力机制，以及131,072 token的上下文长度。OpenBMB宣称在其比较集中，该模型达到了1B类开源模型的SOTA水平。

基础模型本身已自带一个思考模板，通过enable_thinking可以切换思考模式，提供“思考”和“不思考”两种选项。衍生模型保留了该模板以及MiniCPM5的工具调用格式。

微调过程 开发者在此基础之上进行了微调。模型卡片说明其“在Fable 5数据上进一步微调”，以提升编码和指令遵循能力。GGUF卡片也重复了这一说法。

值得注意的是，该方法并非经典的蒸馏过程。它并没有缩小原始模型，而是先生成大量与教师模型的对话，捕获其回复和推理轨迹作为文本，然后在这些轨迹上对较小的基础模型进行监督微调。由于无法获取Claude的权重或logits，这实际上是对生成输出的监督微调，而非权重级别的蒸馏。OpenBMB自己的基础模型则采用了文档化的“在线蒸馏”阶段。

实际效果是，1B模型学会了模仿回复的格式和风格，但并没有吸收教师的底层能力。1B参数预算无法承载前沿级别的推理。

已验证的规格 上下文窗口为128K token，继承自基础模型的config.json（131,072）。GGUF仓库提供了四种量化版本：Q4_K_M约657MB（最小体积），Q5_K_M约751MB，Q8_0约1.1GB（推荐默认），F16约2.1GB。模型可直接在llama.cpp、Ollama、LM Studio、jan和KoboldCpp中加载。

如何运行 GGUF卡片提供了通过Ollama的一行命令：ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M。其他工具的使用方法也已在仓库中说明。推荐在思考模式下使用temperature=0.9、top_p=0.95的采样参数。模型可能在最终答案前输出推理块，下游应用可以将其剥离。

关键要点

• 该模型是OpenBMB MiniCPM5-1B的监督微调版本，使用了Claude Fable 5的轨迹数据，而非权重蒸馏。
• 实际规格：128K上下文，GGUF量化从约657MB（Q4_K_M）到2.1GB（F16），Q8_0为推荐默认。
• 微调主要传递格式和风格，而非前沿推理或广泛知识。
• 未公布基准测试或训练数据集，能力声明目前无法验证。
• Apache-2.0仅覆盖基础权重；基于Claude输出训练可能引发许可问题，模型卡片未明确说明。