Liquid AI 正式推出名為 Liquid RIPL（Real-time Inference Pipeline，即時推理管線）的推理引擎，定位是讓 Liquid Foundation Models（LFM）直接執行在即時請求路徑之中。該公司稱，RIPL 能在 50 毫秒以內返回完整的端到端生成結果，並且在峰值負載下流量持續湧入時仍能保持這一延遲水平。對開發者而言，其核心訴求很直接：用生成式模型替換梯度提升樹等傳統模型，同時不突破既有的延遲預算。
當前多數推理服務棧針對大批次和長時間執行的智慧體任務進行最佳化，每個請求耗時數秒在這些場景中可以接受。但搜尋排序、欺詐檢測和支付授權等路徑需要在毫秒級給出結果。Liquid AI 認為，許多團隊正是由於 LLM 推理太慢而被迫在這類路徑上沿用傳統模型，RIPL 的目標就是消除這一取捨。
在技術層面，Liquid AI 強調 RIPL 最佳化的是從請求到達至響應完成的全鏈路，而不僅是模型本身。在多項工作負載中，公司使用同一個 LFM2.5-350M 模型分別部署於 vLLM 與 RIPL，結果 RIPL 的 p95 延遲曲線均明顯低於 vLLM，從而說明部分效能收益來自引擎而非模型架構。LFM2.5 模型本身採用混合結構：LFM2.5-1.2B-Instruct 共 16 層，包含 10 個雙門控摺積塊和 6 個 GQA 塊；LFM2.5-2.6B 共 30 層，包含 22 個卷積塊和 8 個 GQA 塊。RIPL 可服務從 2.3 億到 26 億引數的 LFM2.5 系列模型，執行於 NVIDIA H100、H200、B200 與 RTX PRO 6000 GPU 的企業部署環境，基準測試則使用單張 B200。
基準測試採用開放環路泊松到達模型測量端到端 p95 延遲。1B 級別、32 輸入/32 輸出、每秒 1000 請求的場景下，LFM2.5-1.2B 在 RIPL 上為 34.6 毫秒，而 Qwen3.5-0.8B 在 vLLM 上為 498 毫秒，相差 14.4 倍；256 輸入/128 輸出、每秒 400 請求的場景下，前者為 155.8 毫秒，後者為 4431 毫秒，差距擴大到 28.4 倍。2B 級別中，32 輸入/32 輸出場景下 LFM2.5-2.6B 為 76.4 毫秒，Qwen3.5-2B 為 586.8 毫秒，相差 7.7 倍；256 輸入/128 輸出場景下為 449.1 毫秒對 2499 毫秒，差距僅 5.6 倍，這也說明輸入輸出更長時亞 50 毫秒的目標無法達成。
Liquid AI 還按固定延遲預算拆解了 6 類即時工作負載：廣告技術查詢改寫為 32 輸入/32 輸出、50 毫秒預算；搜尋意圖分類為 128 輸入/1 輸出、20 毫秒預算；搜尋重排序為 1000 輸入/1 輸出、30 毫秒預算；支付風險評分為 512 輸入/16 輸出、50 毫秒預算；信貸決策為 8000 輸入/64 輸出、150 毫秒預算；影像替代文本生成為 512×512 影像加 64 token 輸入、16 輸出、100 毫秒預算，使用 LFM2.5-VL-450M。
在與競品的橫向對比中，LFM2.5-1.2B 引數量為 1.17B、上下文長度 32768、採用 LFM Open License v1.0、僅支援文本、預設 Instruct 模式；Qwen3.5-0.8B 引數量 0.8B、上下文 262144、Apache 2.0 許可、支援文本影像影片、預設非思考模式。LFM2.5-2.6B 引數量 2.69B、上下文 131072，Qwen3.5-2B 為 2B、262144。值得注意的是，LFM 系列上下文視窗明顯更短，且模態支援有限。
在生產驗證方面，Liquid AI 表示 Shopify 正在多個延遲敏感的電商工作負載中部署 LFM。在搜尋增強場景中，LFM 在生產流量上實現低於 20 毫秒的推理延遲，使用的引數量比替代方案少約 50%，推理速度快 2 至 10 倍。
需要指出的是，RIPL 目前僅面向企業客戶、為閉源產品，上述所有效能數字均由 Liquid AI 自報，尚未經過獨立第三方驗證。對於希望以生成式模型替代傳統模型的團隊而言，RIPL 提供了一條值得關注的路徑，但在評估時應結合自身請求長度分佈與延遲預算謹慎判斷。
本文基於 Liquid AI 的官方釋出資訊整理，相關成果歸專案研究者所有。