Liquid AIは「Liquid RIPL（Real-time Inference Pipeline）」と名付けた推論エンジンを発表した。RIPLはLiquid Foundation Models（LFM）をリアルタイムのリクエストパス内で提供する低レイテンシエンジンであり、生成された応答をエンドツーエンドで50ミリ秒未満で返すとしている。さらに、ピーク負荷でトラフィックが継続的に流入する状況でもこのレイテンシを維持できると主張している。開発者にとってのメッセージは明確だ。勾配ブースティング木を生成モデルに置き換えつつ、レイテンシ予算を守れるというものである。
多くのサービングスタックは大規模バッチや長時間のエージェント処理を前提に最適化されており、リクエストあたり数秒かかっても許容される。しかし検索ランキング、不正検知、決済認可といった処理はミリ秒単位の応答を必要とする。Liquid AIは、LLMの推論が遅すぎるためにこうした経路で従来型モデルが使われ続けていると指摘し、RIPLでそのトレードオフを解消する狙いを示している。
技術面では、RIPLはモデル単体ではなく、リクエスト到着から応答完了までの経路全体を最適化しているとLiquid AIは説明する。複数のワークロードで同じLFM2.5-350MモデルをvLLMとRIPLの双方に配置したところ、いずれもRIPLのp95レイテンシがvLLMを大きく下回った。これは性能向上の一部がモデル構造ではなくエンジンに由来することを示している。LFM2.5モデル自体はハイブリッド構成で、LFM2.5-1.2B-Instructは16層（10個のデュアルゲート付き畳み込みブロックと6個のGQAブロック）、LFM2.5-2.6Bは30層（22個の畳み込みブロックと8個のGQAブロック）で構成される。RIPLは2.3億〜26億パラメータのLFM2.5シリーズを対象とし、NVIDIA H100、H200、B200、RTX PRO 6000 GPUでの企業向けデプロイに対応する。ベンチマークは単一のB200で実施された。
ベンチマークは開放ループのポアソン到着モデルでエンドツーエンドのp95レイテンシを測定している。1Bクラスで32入力/32出力、毎秒1,000リクエストの場合、LFM2.5-1.2BはRIPL上で34.6ミリ秒、Qwen3.5-0.8BはvLLM上で498ミリ秒となり、14.4倍の差となる。256入力/128出力、毎秒400リクエストでは前者155.8ミリ秒に対し後者4,431ミリ秒で、差は28.4倍に広がる。2Bクラスでは32入力/32出力でLFM2.5-2.6Bが76.4ミリ秒、Qwen3.5-2Bが586.8ミリ秒で7.7倍、256入力/128出力では449.1ミリ秒対2,499ミリ秒で5.6倍にとどまる。これは入出力が長くなるとサブ50ミリ秒の目標を満たせないことも示している。
Liquid AIはさらに、6種類のリアルタイムワークロードを固定のレイテンシ予算に照らして整理している。広告技術のクエリ書き換えが32入力/32出力・50ミリ秒予算、検索意図分類が128入力/1出力・20ミリ秒予算、検索リランキングが1,000入力/1出力・30ミリ秒予算、決済リスクスコアリングが512入力/16出力・50ミリ秒予算、与信判断が8,000入力/64出力・150ミリ秒予算、画像代替テキスト生成が512×512画像と64トークン入力・16出力・100ミリ秒予算（LFM2.5-VL-450Mを使用）である。
競合との比較では、LFM2.5-1.2Bは1.17Bパラメータ、コンテキスト32,768、LFM Open License v1.0、テキストのみ、デフォルトはInstructモード。Qwen3.5-0.8Bは0.8Bパラメータ、コンテキスト262,144、Apache 2.0ライセンス、テキスト・画像・動画に対応し、デフォルトは非思考モードである。LFM2.5-2.6Bは2.69Bパラメータ、コンテキスト131,072で、Qwen3.5-2Bは2Bパラメータ、コンテキスト262,144となる。LFMシリーズはコンテキストウィンドウが明らかに短く、対応モダリティも限定的である点には注意が必要だ。
本番環境での検証について、Liquid AIはShopifyがレイテンシに敏感な複数のコマースワークロードでLFMを展開していると述べている。検索拡張では本番トラフィック上で20ミリ秒未満の推論レイテンシを実現し、代替手段と比べて約50%少ないパラメータで、2〜10倍高速な推論を提供しているという。
ただしRIPLは現時点で企業顧客向けのクローズド製品であり、上記の性能数値はすべてLiquid AIによる自己申告で、独立した第三者による検証は受けていない。生成モデルで従来モデルを置き換えたいチームにとってRIPLは注目に値する選択肢だが、評価にあたっては自社のリクエスト長の分布とレイテンシ予算を踏まえて慎重に判断すべきである。
本記事はLiquid AIの公式発表に基づいて構成しており、関連する成果はプロジェクトの研究者に帰属する。