为什么AI在你所说的语言中表现更差

人工智能在非英语语言上的表现差距长期以来被归因于语言本身的复杂度，但实际情况要简单得多，也更具可修正性。性能下降主要源于三个因素：训练数据中该语言的比例、分词器处理其文字的效率，以及指令微调是否覆盖该语言。其中两个是系统构建时的意外结果，而非语言特性，因此可以纠正，而第三个则正在悄无声息地使非英语使用成本高出三到四倍。

差距的具体量化有助于理解问题的严重性。在企业检索任务中，针对相同文档，非英语查询的准确率比英语低高达29%。这意味着一个在英语中十次回答正确九次的系统，在其他语言中只能正确六七次。而在资源匮乏的极端情况下，差距几乎消失变为地板效应。对美洲土著语言的评估显示，在三类分类任务中准确率仅38%，而随机猜测为33%。模型在这些语言上的表现几乎等同于猜测。

大多数语言处于这两个极端之间。模式一致：性能随资源可用性变化，而资源可用性取决于公共互联网上可抓取文本的数量，这又与财富和殖民历史相关，而非与使用人口相关。孟加拉语的使用者比德语多，但数字足迹却小得多。

人们常常低估的一个现象是：在多语言社会中，许多人说一种语言却写另一种，或者用罗马化形式书写本族语言，而标准语料库无法识别这种形式。数字记录系统性地低估了人们实际使用的语言，模型继承了这种低估。

真正预测性能的三个因素中，不包括语言复杂度。芬兰语和土耳其语形态复杂，但因为文本足够多，模型处理得相当不错。这本质上是数据问题披着语言学的外衣。

分词器效率是其中最不为人所知且最直接带来成本的部分。模型不读取字符，而是读取由子词单元组成的令牌。由于合并规则从以英语为主的文本中学习，其词汇表高效编码英语，而其他语言则被碎片化。同一句话，携带相同含义，在一种语言中消耗的令牌数可能是另一种语言的三到四倍。非拉丁文字、黏着语和罗马化文本受损最严重。

成本在三个方向叠加：每次请求支付更多；有效上下文窗口按相同比例缩小；性能本身下降，因为模型以更粗糙的分辨率处理文本。系统评估发现，分词器质量是下游任务性能的强预测因子，独立于其他因素。

尽管如此，跨语言性能仍然令人惊讶地好。模型发展出部分共享的表示空间：不同语言中语义相同的句子在模型内部状态中聚集在一起。这有一个实用的启示：用英语提示并请求用目标语言输出，往往比直接用目标语言提示效果更好。

失败集中在特定领域。文化和地方知识缺失；推理任务差距更大，表明模型的内部推理过程比知识更偏向英语；流利但不准确的输出最可能未检测就进入生产；安全护栏不完美迁移。

评估问题贯穿始终：大多数多语言基准是从英语翻译而来的，只能测试模型处理语言的能力，而非了解该语言所描述的世界的能力。结果是系统性盲点：模型在某个语言的翻译基准上得分尚可，却对该语言的上下文一无所知。