Liquid AI、LFM2.5-Encoder-230M および LFM2.5-Encoder-350M をリリース：CPU上で8Kコンテキストを高速処理する双方向エンコーダ
Liquid AIは、LFM2ハイブリッドバックボーンをベースとし、8,192トークンのコンテキストを持つ2つのオープンウェイト双方向エンコーダ、LFM2.5-Encoder-230MおよびLFM2.5-Encoder-350Mをリリースしました。350Mモデルは17タスクのベンチマークで14モデル中4位、より大きなモデルのみが上位です。230MモデルはCPU上で8Kトークンの順伝搬を約28秒で完了し、エッジデバイスやリソース制約環境に適しています。
Liquid AIは、オープンウェイトの双方向エンコーダ、LFM2.5-Encoder-230MおよびLFM2.5-Encoder-350Mをリリースしました。どちらもLFM2ハイブリッドバックボーンをベースとするマスクド言語モデルで、8,192トークンのコンテキストをサポートします。
エンコーダは、分類器、意図ルーター、セーフティフィルター、PII検出器などの下流タスクで使用されます。これらのタスクは通常GPUなしで継続的に実行され、入力は長大化しています。BERTがこのクラスを確立し、ModernBERTが精度、速度、コンテキストを向上させました。Liquid AIは、LFM2アーキテクチャがその流れを継承し、入力が長くなるにつれてコストの増加が緩やかであると主張しています。
デコーダからエンコーダへの変換
エンコーダはスクラッチから訓練されたわけではなく、LFM2.5-230MおよびLFM2.5-350Mデコーダバックボーンから初期化され、3つの変更を加えて変換されました。
- 因果的注意マスクを双方向マスクに置き換え、各トークンが両側に注意できるようにしました。
- LFM2の短い畳み込みを対称センターパディングにより非因果的にし、各トークンの畳み込みが両側の近傍を混合するようにしました。
- 30%のマスク率でマスクド言語モデリング目的で訓練しました。これはBERTの15%より高く、Liquid AIが引用する証拠によれば、この規模ではより高いマスク率が有効です。
訓練は2段階で行われます。第1段階では、1024トークンの短いコンテキストで大規模ウェブコーパスを使用してMLM目的で訓練し、一般的な言語能力を確立します。第2段階では、コンテキストを8192トークンに拡張し、完全なデータ混合で訓練し、事実、法律、多言語能力を強化します。
アーキテクチャ的には、バックボーンはゲート付き短畳み込みブロックとグループ化クエリ注意を交互に配置しており、LFM2技術レポートと同じ設計です。両チェックポイントは1024の隠れサイズと65,536トークンの語彙を持ち、15言語をサポートします。ライセンスはLFM Open License v1.0です。
ベンチマーク結果
Liquid AIは、GLUE、SuperGLUE、多言語分類から抽出した17タスクで14モデルを評価しました。各モデルはタスクごとに完全にファインチューニングされ、報告されたスコアはそのファインチューニングされたモデルの結果です。
LFM2.5-Encoder-350Mは17タスク平均81.02（±1.00）で4位となりました。上位3モデルはすべてより大規模です。XLM-R XL（3.5B、83.06）、ModernBERT-large（395M、81.68）、XLM-R large（560M、81.34）です。最上位モデルはほぼ10倍のサイズです。
LFM2.5-Encoder-230Mは79.29（±1.02）で6位となり、ModernBERT-base（78.19）やすべてのEuroBERTモデル（EuroBERT-610Mの75.87、EuroBERT-2.1Bの72.19を含む）を上回りました。両エンコーダは、Liquid AI自身の検索モデルLFM2.5-ColBERT-350M（76.18）およびLFM2.5-Embedding-350M（75.68）よりも高いスコアを達成しており、この差が汎用エンコーダを構築した理由とされています。
この方法論はApache-2.0でオープンソース化されています。すべてのモデルはfp32マスターウェイトとbf16オートキャストでロードされ、公平な比較が可能です。すべてのモデルはEuroBERTカードから取られた同じAdamWレシピを使用しています。学習率はモデルとタスクごとに10のレートと3つのシードから選択され、スコアは選択に関与しなかった5つの新しいシードの平均として報告されます。Transformersバージョンは4.56.2に固定され、依存関係のドリフトが制御されていない変数にならないようにしています。
使用例と展開環境
リリースでは3つのシナリオが挙げられています。まず、エッジおよび組み込みデバイス（車載コンピュータや産業用コントローラなど）にはGPUがなく、クラウド往復遅延も許容できません。次に、金融、ヘルスケア、法律などの規制対象またはオンプレミスシステムでは、文書が長く機密性が高く、社内インフラから出せません。最後に、高ボリュームでコスト重視のパイプラインでは、小型エンコーダが大規模モデルの前段として安価な最初の処理を担当します。
Liquid AIはコンテキストウィンドウの実際的な数値も示しています。8192トークンは約13～15ページに相当し、完全な契約書や患者記録全体をカバーします。
ファインチューニングされたエンコーダのデモとして、研究チームは5つのデモを公開しました。それぞれCPUのみのHugging Face Spaceで動作し、ゼロショットプロンプトルーティング、ゼロショットポリシーチェック、スペルチェック、16言語の40情報タイプを扱うPII検出、およびマスク拡散デモ（エンコーダをチャットボットとして使用し、反復的にマスク解除して生成）を含みます。
使用方法
両エンコーダはtransformersを介してロードできます。モデル本体はLfm2BidirectionalModelとして公開され、マスクMLロードにはLfm2BidirectionalForMaskedLMを使用します。両方ともauto_mapで配線されているため、ロード呼び出しごとにtrust_remote_code=Trueが必要です。ベースエンコーダは汎用表現を生成し、タスク出力は生成しないため、ファインチューニングが必須です。Liquid AIのファインチューニングチュートリアルでは、8Kコンテキスト設定での長い法律文書の処理を説明しています。モデル選択のガイダンスは明確で、最高の精度が必要な場合は350M、ハードウェア制約が厳しい場合やスループットが重要な場合は230Mを選択します。