工作负载驱动的设备端实时字幕翻译优化

设备端实时字幕翻译在低延迟和隐私保护方面具有重要的应用价值，尤其针对台湾地区的繁体中文字幕需求。然而，短输入、短输出、单批次推理以及严格的隐私约束，使得传统的针对长上下文或高吞吐量的优化方法难以直接适用。本研究基于LMT-60-0.6B模型，通过GGUF量化减少了Transformer模块的计算开销后，发现词汇投影成为解码阶段的主要瓶颈。为解决这一问题，作者将原始151k规模的通用词表替换为64k大小的字幕领域专用分词器，并重新初始化嵌入层，随后进行嵌入校准和全监督微调。在OpenSubtitles2024数据集的一个固定500样本子集上，采用GPT-4o进行成对评判，排除平局后，优化后的模型（LocalSubs）对Google Translate的胜率达到59.2%。性能在短输入提示下表现最佳，但随输入长度增加而下降。此外，在Apple M2芯片上使用Metal进行初步基准测试，64k词表模型相比151k基线实现了1.63倍的加速。需要指出的是，由于基准测试配置尚不完整，延迟结果仅视为初步数据。该工作展示了针对特定工作负载进行词汇领域定制和量化的有效性，为设备端实时翻译提供了可行的优化路径。未来工作可进一步探索长输入场景下的性能提升以及更完善的基准测试。此外，该方法对于其他语言对和领域也具有一定的参考价值。研究由Tsz-To Wong完成，论文于2026年7月10日提交至arXiv，归属于计算与语言（cs.CL）和人工智能（cs.AI）类别。这项研究的意义在于，它展示了如何通过工作负载分析来驱动模型优化，而不是盲目追求通用性能。对于产品团队而言，这意味着可以在保持低延迟和隐私保护的前提下，实现高质量的实时字幕翻译。此外，该工作还突出了词表定制在小词汇量任务中的重要性，为未来在资源受限设备上的NLP应用提供了借鉴。作者还计划将方法扩展到其他语言对，并改进长输入场景的性能。