工作負載驅動的裝置端即時字幕翻譯最佳化

裝置端即時字幕翻譯在低延遲和隱私保護方面具有重要的應用價值，尤其針對臺灣地區的繁體中文字幕需求。然而，短輸入、短輸出、單批次推理以及嚴格的隱私約束，使得傳統的針對長上下文或高吞吐量的最佳化方法難以直接適用。本研究基於LMT-60-0.6B模型，透過GGUF量化減少了Transformer模組的計算開銷後，發現詞彙投影成為解碼階段的主要瓶頸。為解決這一問題，作者將原始151k規模的通用詞表替換為64k大小的字幕領域專用分詞器，並重新初始化嵌入層，隨後進行嵌入校準和全監督微調。在OpenSubtitles2024資料集的一個固定500樣本子集上，採用GPT-4o進行成對評判，排除平局後，最佳化後的模型（LocalSubs）對Google Translate的勝率達到59.2%。效能在短輸入提示下表現最佳，但隨輸入長度增加而下降。此外，在Apple M2晶片上使用Metal進行初步基準測試，64k詞表模型相比151k基線實現了1.63倍的加速。需要指出的是，由於基準測試配置尚不完整，延遲結果僅視為初步資料。該工作展示了針對特定工作負載進行詞彙領域定製和量化的有效性，為裝置端即時翻譯提供了可行的最佳化路徑。未來工作可進一步探索長輸入場景下的效能提升以及更完善的基準測試。此外，該方法對於其他語言對和領域也具有一定的參考價值。研究由Tsz-To Wong完成，論文於2026年7月10日提交至arXiv，歸屬於計算與語言（cs.CL）和人工智慧（cs.AI）類別。這項研究的意義在於，它展示瞭如何透過工作負載分析來驅動模型最佳化，而不是盲目追求通用效能。對於產品團隊而言，這意味著可以在保持低延遲和隱私保護的前提下，實現高質量的即時字幕翻譯。此外，該工作還突出了詞表定製在小詞彙量任務中的重要性，為未來在資源受限裝置上的NLP應用提供了借鑑。作者還計劃將方法擴充套件到其他語言對，並改進長輸入場景的效能。