Liquid AI 正式推出名为 Liquid RIPL（Real-time Inference Pipeline，实时推理管线）的推理引擎，定位是让 Liquid Foundation Models（LFM）直接运行在实时请求路径之中。该公司称，RIPL 能在 50 毫秒以内返回完整的端到端生成结果，并且在峰值负载下流量持续涌入时仍能保持这一延迟水平。对开发者而言，其核心诉求很直接：用生成式模型替换梯度提升树等传统模型，同时不突破既有的延迟预算。
当前多数推理服务栈针对大批量和长时间运行的智能体任务进行优化，每个请求耗时数秒在这些场景中可以接受。但搜索排序、欺诈检测和支付授权等路径需要在毫秒级给出结果。Liquid AI 认为，许多团队正是由于 LLM 推理太慢而被迫在这类路径上沿用传统模型，RIPL 的目标就是消除这一取舍。
在技术层面，Liquid AI 强调 RIPL 优化的是从请求到达至响应完成的全链路，而不仅是模型本身。在多项工作负载中，公司使用同一个 LFM2.5-350M 模型分别部署于 vLLM 与 RIPL，结果 RIPL 的 p95 延迟曲线均明显低于 vLLM，从而说明部分性能收益来自引擎而非模型架构。LFM2.5 模型本身采用混合结构：LFM2.5-1.2B-Instruct 共 16 层，包含 10 个双门控卷积块和 6 个 GQA 块；LFM2.5-2.6B 共 30 层，包含 22 个卷积块和 8 个 GQA 块。RIPL 可服务从 2.3 亿到 26 亿参数的 LFM2.5 系列模型，运行于 NVIDIA H100、H200、B200 与 RTX PRO 6000 GPU 的企业部署环境，基准测试则使用单张 B200。
基准测试采用开放环路泊松到达模型测量端到端 p95 延迟。1B 级别、32 输入/32 输出、每秒 1000 请求的场景下，LFM2.5-1.2B 在 RIPL 上为 34.6 毫秒，而 Qwen3.5-0.8B 在 vLLM 上为 498 毫秒，相差 14.4 倍；256 输入/128 输出、每秒 400 请求的场景下，前者为 155.8 毫秒，后者为 4431 毫秒，差距扩大到 28.4 倍。2B 级别中，32 输入/32 输出场景下 LFM2.5-2.6B 为 76.4 毫秒，Qwen3.5-2B 为 586.8 毫秒，相差 7.7 倍；256 输入/128 输出场景下为 449.1 毫秒对 2499 毫秒，差距仅 5.6 倍，这也说明输入输出更长时亚 50 毫秒的目标无法达成。
Liquid AI 还按固定延迟预算拆解了 6 类实时工作负载：广告技术查询改写为 32 输入/32 输出、50 毫秒预算；搜索意图分类为 128 输入/1 输出、20 毫秒预算；搜索重排序为 1000 输入/1 输出、30 毫秒预算；支付风险评分为 512 输入/16 输出、50 毫秒预算；信贷决策为 8000 输入/64 输出、150 毫秒预算；图像替代文本生成为 512×512 图像加 64 token 输入、16 输出、100 毫秒预算，使用 LFM2.5-VL-450M。
在与竞品的横向对比中，LFM2.5-1.2B 参数量为 1.17B、上下文长度 32768、采用 LFM Open License v1.0、仅支持文本、默认 Instruct 模式；Qwen3.5-0.8B 参数量 0.8B、上下文 262144、Apache 2.0 许可、支持文本图像视频、默认非思考模式。LFM2.5-2.6B 参数量 2.69B、上下文 131072，Qwen3.5-2B 为 2B、262144。值得注意的是，LFM 系列上下文窗口明显更短，且模态支持有限。
在生产验证方面，Liquid AI 表示 Shopify 正在多个延迟敏感的电商工作负载中部署 LFM。在搜索增强场景中，LFM 在生产流量上实现低于 20 毫秒的推理延迟，使用的参数量比替代方案少约 50%，推理速度快 2 至 10 倍。
需要指出的是，RIPL 目前仅面向企业客户、为闭源产品，上述所有性能数字均由 Liquid AI 自报，尚未经过独立第三方验证。对于希望以生成式模型替代传统模型的团队而言，RIPL 提供了一条值得关注的路径，但在评估时应结合自身请求长度分布与延迟预算谨慎判断。
本文基于 Liquid AI 的官方发布信息整理，相关成果归项目研究者所有。