工作負載驅動的設備端實時字幕翻譯優化

設備端實時字幕翻譯在低延遲和隱私保護方面具有重要的應用價值，尤其針對台灣地區的繁體中文字幕需求。然而，短輸入、短輸出、單批次推理以及嚴格的隱私約束，使得傳統的針對長上下文或高吞吐量的優化方法難以直接適用。本研究基於LMT-60-0.6B模型，通過GGUF量化減少了Transformer模塊的計算開銷後，發現詞彙投影成為解碼階段的主要瓶頸。為解決這一問題，作者將原始151k規模的通用詞表替換為64k大小的字幕領域專用分詞器，並重新初始化嵌入層，隨後進行嵌入校準和全監督微調。在OpenSubtitles2024數據集的一個固定500樣本子集上，採用GPT-4o進行成對評判，排除平局後，優化後的模型（LocalSubs）對Google Translate的勝率達到59.2%。性能在短輸入提示下表現最佳，但隨輸入長度增加而下降。此外，在Apple M2芯片上使用Metal進行初步基準測試，64k詞表模型相比151k基線實現了1.63倍的加速。需要指出的是，由於基準測試配置尚不完整，延遲結果僅視為初步數據。該工作展示了針對特定工作負載進行詞彙領域定製和量化的有效性，為設備端實時翻譯提供了可行的優化路徑。未來工作可進一步探索長輸入場景下的性能提升以及更完善的基準測試。此外，該方法對於其他語言對和領域也具有一定的參考價值。研究由Tsz-To Wong完成，論文於2026年7月10日提交至arXiv，歸屬於計算與語言（cs.CL）和人工智能（cs.AI）類別。這項研究的意義在於，它展示瞭如何通過工作負載分析來驅動模型優化，而不是盲目追求通用性能。對於產品團隊而言，這意味着可以在保持低延遲和隱私保護的前提下，實現高質量的實時字幕翻譯。此外，該工作還突出了詞表定製在小詞彙量任務中的重要性，為未來在資源受限設備上的NLP應用提供了借鑑。作者還計劃將方法擴展到其他語言對，並改進長輸入場景的性能。