為什麼AI在你所説的語言中表現更差

人工智能在非英語語言上的表現差距長期以來被歸因於語言本身的複雜度，但實際情況要簡單得多，也更具可修正性。性能下降主要源於三個因素：訓練數據中該語言的比例、分詞器處理其文字的效率，以及指令微調是否覆蓋該語言。其中兩個是系統構建時的意外結果，而非語言特性，因此可以糾正，而第三個則正在悄無聲息地使非英語使用成本高出三到四倍。

差距的具體量化有助於理解問題的嚴重性。在企業檢索任務中，針對相同文檔，非英語查詢的準確率比英語低高達29%。這意味着一個在英語中十次回答正確九次的系統，在其他語言中只能正確六七次。而在資源匱乏的極端情況下，差距幾乎消失變為地板效應。對美洲土著語言的評估顯示，在三類分類任務中準確率僅38%，而隨機猜測為33%。模型在這些語言上的表現幾乎等同於猜測。

大多數語言處於這兩個極端之間。模式一致：性能隨資源可用性變化，而資源可用性取決於公共互聯網上可抓取文本的數量，這又與財富和殖民歷史相關，而非與使用人口相關。孟加拉語的使用者比德語多，但數字足跡卻小得多。

人們常常低估的一個現象是：在多語言社會中，許多人説一種語言卻寫另一種，或者用羅馬化形式書寫本族語言，而標準語料庫無法識別這種形式。數字記錄系統性地低估了人們實際使用的語言，模型繼承了這種低估。

真正預測性能的三個因素中，不包括語言複雜度。芬蘭語和土耳其語形態複雜，但因為文本足夠多，模型處理得相當不錯。這本質上是數據問題披着語言學的外衣。

分詞器效率是其中最不為人所知且最直接帶來成本的部分。模型不讀取字符，而是讀取由子詞單元組成的令牌。由於合併規則從以英語為主的文本中學習，其詞彙表高效編碼英語，而其他語言則被碎片化。同一句話，攜帶相同含義，在一種語言中消耗的令牌數可能是另一種語言的三到四倍。非拉丁文字、黏着語和羅馬化文本受損最嚴重。

成本在三個方向疊加：每次請求支付更多；有效上下文窗口按相同比例縮小；性能本身下降，因為模型以更粗糙的分辨率處理文本。系統評估發現，分詞器質量是下游任務性能的強預測因子，獨立於其他因素。

儘管如此，跨語言性能仍然令人驚訝地好。模型發展出部分共享的表示空間：不同語言中語義相同的句子在模型內部狀態中聚集在一起。這有一個實用的啓示：用英語提示並請求用目標語言輸出，往往比直接用目標語言提示效果更好。

失敗集中在特定領域。文化和地方知識缺失；推理任務差距更大，表明模型的內部推理過程比知識更偏向英語；流利但不準確的輸出最可能未檢測就進入生產；安全護欄不完美遷移。

評估問題貫穿始終：大多數多語言基準是從英語翻譯而來的，只能測試模型處理語言的能力，而非瞭解該語言所描述的世界的能力。結果是系統性盲點：模型在某個語言的翻譯基準上得分尚可，卻對該語言的上下文一無所知。