Google、LiteRT.jsをリリース：WebGPU経由でブラウザで.tfliteモデルを実行するJavaScriptバインディング

Googleは2026年7月9日、オンデバイス推論ライブラリLiteRT（旧TensorFlow Lite）のJavaScriptバインディングであるLiteRT.jsを正式にリリースしました。このツールにより、開発者はブラウザ上で.tfliteモデルを直接実行できるようになり、推論はすべてクライアント側で行われるため、ユーザープライバシーの向上、サーバーコストの削減、超低レイテンシを実現します。

LiteRT.jsは新しいモデル形式ではなく、Googleの既存のネイティブランタイムをWebAssemblyにコンパイルし、JavaScriptからアクセスできるようにしたものです。JavaScriptベースのカーネルに依存していたTensorFlow.jsとは異なり、LiteRT.jsはネイティブのクロスプラットフォームランタイムの最適化をそのまま統合しているため、WebアプリケーションはAndroid、iOS、デスクトップ向けに構築されたパフォーマンス改善、量子化の改善、ハードウェア最適化を自動的に継承できます。

ランタイムレベルでは、LiteRT.jsは3つのバックエンドをサポートしています。CPUはXNNPACK（Google最適化のCPUライブラリ、マルチスレッドと緩やかなSIMDをサポート）、GPUはWebGPUを介したML Drift（GoogleのオンデバイスGPUソリューション）、NPUはWebNN API（現在ChromeとEdgeで実験段階）を使用します。注意点として、LiteRT.jsは部分的な委任をサポートしておらず、計算グラフをCPUとGPUに分割することはできません。委任は全か無かであり、選択したアクセラレータにモデルを完全に委任できない場合、Wasm実行にフォールバックします。CPUパスが最も広いオペレーターカバレッジを持ちます。

パフォーマンスについて、Googleチームは2つの主要な結果を報告しています。他のWebランタイムと比較して、CPUおよびGPU推論においてLiteRT.jsは最大3倍高速です（古典的なコンピュータビジョンおよびオーディオ処理モデルを対象）。自身のCPU実行と比較して、GPUまたはNPUアクセラレーションは5～60倍の高速化を実現します（リアルタイム物体追跡や音声文字起こしなどのタスクに適用）。これらのベンチマークは、2024年製MacBook Pro（M4 Apple Silicon）の制御されたブラウザ環境で実行されました。Googleは実際の結果がローカルGPU、サーマルスロットリング、ドライバー最適化によって異なることを指摘しています。

さらに、LiteRT.jsでは手動メモリ管理が導入されています。各テンソルは明示的に.delete()メソッドを呼び出す必要があり、そうしないとアプリケーションがデバイスメモリをリークします。Googleの発表コードスニペットではこの重要な手順が省略されています。WebNNバックエンドでは、同期カーネルスケジューリングと非同期デバイスポーリングをブリッジするために、JSPI（JavaScript Promise Integration）フラグを追加で設定する必要があります。

モデル変換に関しては、LiteRT Torchツールを使用してPyTorchモデルを.tflite形式に1ステップで変換できますが、モデルはtorch.export.exportでエクスポート可能（TorchDynamoエクスポート可能）である必要があり、ランタイムテンソル値に依存するPython条件分岐を含まず、動的な入力または出力次元（バッチ次元を含む）を持つことができません。モデル量子化にはAI Edge Quantizerを使用して、異なるネットワーク層に量子化スキームを設定できます。事前学習済みの.tfliteモデルはKaggleおよびLiteRT Hugging Faceコミュニティから入手可能です。

Googleはリリース時に4つのデモアプリケーションを公開しました：リアルタイム物体検出（Ultralytics YOLO26使用）、ウェブカメラからの深度推定（Depth-Anything-V2）、画像超解像（Real-ESRGAN）、およびセマンティック検索（EmbeddingGemmaベクトル検索）。これらのデモは、さまざまなシナリオでのLiteRT.jsの能力を示しています。

TensorFlow.jsとの比較では、LiteRT.jsは主にTF.js Graph Modelsの代替として位置づけられており、ライブラリ全体の代替ではありません。TensorFlow.jsは前処理および後処理タスクに引き続き推奨され、両者は@litertjs/tfjs-interopパッケージを介してテンソルを相互運用できます。WebGPUバックエンドではtensor.dataSyncの使用を避けるべきです。

全体として、LiteRT.jsはWeb向け機械学習にネイティブレベルのパフォーマンスとハードウェアアクセラレーションをもたらしますが、開発者は手動メモリ管理と実験段階のWebNNの制限に適応する必要があります。