Liquid AI 發佈 LFM2.5-230M：支持 on-device 推理，兼容 llama.cpp、MLX 等多種框架

Liquid AI 發佈了其迄今為止最小的模型——LFM2.5-230M。該模型旨在支持手機、機器人和自動化設備上的智能體任務。基礎版和指令調優版均以開放權重形式發佈在 Hugging Face 上。

LFM2.5-230M 是一款僅文本模型，基於 LFM2 架構，擁有 2.3 億參數。模型共 14 層，其中 8 層為雙門控 LIV 卷積塊，6 層為分組查詢注意力（GQA）塊，這種混合設計針對快速 CPU 推理進行了優化。上下文長度為 32,768 個 token，詞彙量 65,536，知識截止時間為 2024 年中，支持包括英語、中文、阿拉伯語和日語在內的十種語言。

訓練方面，模型在 19 萬億 token 上進行預訓練，其中包括 32K 上下文擴展階段。後訓練分為三個階段：首先是利用更大的 LFM2.5-350M 進行蒸餾監督微調，然後是直接偏好優化（DPO），最後是多領域強化學習。這些步驟確保了模型在目標任務上的競爭力。

在基準測試中，LFM2.5-230M 在指令遵循和數據提取上表現出色。IFEval 得分 71.71，超過 Qwen3.5-0.8B（59.94）和 Gemma 3 1B IT（63.49）；IFBench 得分 38.40；臨牀數據提取測試 CaseReportBench 得分 22.51。然而，在廣泛知識任務（如 MMLU-Pro）上得分 20.25，落後於 Qwen3.5-0.8B 的 37.42；在工具使用基準 τ²-Bench Telecom 上僅得 5.26。Liquid AI 明確表示該模型不適用於高級數學、代碼生成或創意寫作等推理密集型任務。

LFM2.5-230M 的兩個主要應用場景是：大規模數據提取流水線和輕量級邊緣智能體工作負載。例如，在 4 位量化下，該模型僅需 293–375 MB 內存，可在普通 CPU 上運行臨牀報告解析；或者作為家庭自動化中樞，將語音轉換為工具調用。早期信號顯示，該模型已部署在 Unitree G1 人形機器人上，完全運行於機載 NVIDIA Jetson Orin，作為技能選擇層將自然語言指令轉為工具調用序列。

模型支持函數調用，包括四個步驟：在系統提示中定義 JSON 工具，模型輸出 Python 風格函數調用，執行後返回結果，模型再給出純文本回答。開發者可通過 Transformers 5.0.0+ 輕鬆加載，推薦設置 temperature=0.1、top_k=50、repetition_penalty=1.05。Liquid AI 還提供了微調教程，涵蓋 SFT、DPO 和 GRPO 的 LoRA 方法，附有 Colab 筆記本。該模型採用 lfm1.0 許可證。