AI News HubLIVE
站内改写2 分钟阅读

Liquid AI发布230M参数模型,优化用于手机、树莓派和机器人

Liquid AI发布了LFM2.5-230M,一款轻量级基础模型,专为边缘设备优化。它在三星Galaxy S25 Ultra上达到213 tok/s的解码速度,在树莓派5上为42 tok/s。模型在工具使用和数据提取任务中表现出色,并已在Unitree G1人形机器人上成功部署作为技能选择层。该模型遵循开放权重许可,支持多种推理框架。

来源Hacker News AI作者: mpfect

Liquid AI今日发布了其迄今为止最小的模型——LFM2.5-230M。这款模型基于LFM2架构,专为开发者快速微调并部署于智能体工作流而设计。它具备极快的推理速度,能够在从云端GPU到低成本CPU的各种硬件上运行:在三星Galaxy S25 Ultra上达到213 tok/s的解码速度,在树莓派5上为42 tok/s。尽管体积小巧,该模型在工具使用和数据提取任务中表现惊人。

LFM2.5-230M的基础版本(LFM2.5-230M-Base)和后训练版本(LFM2.5-230M)现已可在Hugging Face上获取。模型在19T令牌上进行了预训练,包括32K上下文扩展阶段。后训练过程包含三个步骤:从LFM2.5-350M进行蒸馏的监督微调、直接偏好优化以及多领域强化学习。最终模型在开箱即用的能力与下游任务适应性之间取得了平衡,同时保持与更大模型的竞争力。

作为一项初步展示,Liquid AI将LFM2.5-230M部署在Unitree G1人形机器人上,完全在机载的NVIDIA Jetson Orin上运行。模型充当技能选择层:接收自然语言指令,并将其分解为一系列工具调用,这些调用激活NVIDIA SONIC框架提供的预训练低层技能。经过快速微调后,模型能将诸如“保持静止2秒,然后以每秒1米的速度向前走3米,保持单膝跪地5秒,再以每秒0.5米的速度向后走3米”这样的自由形式命令转化为结构化的多步计划。尽管目前行为较为简单,但这表明230M参数的模型能够快速微调并部署在设备上,作为人形机器人的自然语言控制界面。

在基准测试方面,LFM2.5-230M在十个基准上进行了评估,涵盖核心能力和应用任务。尽管参数规模小,它常常击败规模两倍以上的模型,特别是在GPQA Diamond、MMLU-Pro、IFEval、CaseReportBench和BFCLv3等方面。它在数据提取和工具使用方面表现尤为突出。由于其紧凑的尺寸,不建议用于推理密集型任务,如高级数学、代码生成或创意写作。

该模型支持广泛的推理生态系统,包括llama.cpp、MLX、vLLM、SGLang和ONNX。在CPU推理中,得益于LFM2架构,它在树莓派5和骁龙Gen4(三星Galaxy S25 Ultra)上均实现了同类最佳的解码和预填充速度,同时保持最小的内存占用。对于企业级GPU推理,Liquid AI还开发了内部推理栈,实现了极低延迟的服务。

LFM2.5-230M以开放权重形式提供,可自由下载、微调和部署,无限制。它原生支持llama.cpp、NexaSDK、MLX和vLLM等框架,覆盖苹果、AMD、高通和英伟达硬件。这一定位使LFM2.5-230M成为大规模数据提取管道或轻量级设备端智能体工作负载的理想解决方案。Liquid AI表示,边缘AI的未来已经到来。