ワークロード駆動型オンデバイスリアルタイム字幕翻訳の最適化

オンデバイスでのリアルタイム字幕翻訳は、低レイテンシとプライバシー保護の点で重要な応用価値があり、特に台湾向けの繁体中国語字幕の需要があります。短い入力、短い出力、バッチサイズ1の推論、そして厳格なプライバシー制約は、長コンテキストや高スループット向けの従来の最適化手法の適用を困難にしています。本研究では、LMT-60-0.6Bモデルをベースに、GGUF量子化によってTransformerブロックの計算コストを削減した後、語彙投影がデコード時の主要なボトルネックとなることを発見しました。そこで、元の151kトークンの汎用語彙を64kトークンの字幕ドメイン専用トークナイザーに置き換え、埋め込み層を再初期化した上で、埋め込みキャリブレーションと教師あり微調整を行いました。OpenSubtitles2024データセットの固定500サンプルサブセットにおいて、GPT-4oによるペアワイズ評価で同点を除いた勝率は59.2%であり、Google Translateを上回りました。特に短い入力で性能が高く、入力長が増加するにつれて低下します。また、Apple M2チップでのMetalを用いた予備ベンチマークでは、64k語彙モデルが151k語彙ベースラインに比べ1.63倍の高速化を示しました。ただし、ベンチマーク設定が不完全であるため、レイテンシ結果は暫定的なものとして扱われます。この研究は、特定のワークロードに合わせた語彙のドメイン特化と量子化の有効性を示しており、オンデバイスリアルタイム翻訳の実用的な最適化経路を提供しています。今後の課題として、長い入力での性能向上や、より完全なベンチマークの構築が挙げられます。また、この手法は他の言語ペアやドメインにも応用可能です。研究はTsz-To Wong氏によって行われ、論文は2026年7月10日にarXivに投稿され、計算と言語（cs.CL）および人工知能（cs.AI）に分類されています。この研究の意義は、ワークロード分析に基づいたモデル最適化のアプローチを示した点にあり、製品チームは低レイテンシとプライバシーを維持しながら高品質なリアルタイム字幕翻訳を実現できます。さらに、語彙のカスタマイズが小語彙タスクにおいて重要であることを強調しており、リソース制約のあるデバイスでのNLP応用に示唆を与えます。著者は今後、他の言語ペアへの拡張と長入力シナリオの改善を計画しています。