テキスト埋め込みは、セマンティック類似性タスクにおける標準的な技術であり、情報検索、文類似度計算、テキストクラスタリングなどに広く利用されています。しかし、これらの埋め込みモデルの評価は依然として課題が残っています。既存のベンチマークは静的であり、カバーする言語の種類が限られており、多くの場合、英語や少数の高リソース言語に偏っています。また、ドメイン固有であることが多く、過学習の影響を受けやすく、低リソース言語の代表性が低いという問題があります。これらの制限に対処するため、研究者らはALEEを導入しました。ALEEは、Sentence Smith（Liら、2025）を拡張し、言語横断および段落レベルの評価を可能にします。
ALEEの中心的なアイデアは、抽象意味表現（AMR）を使用して、制御された細かな意味的シフトを持つ英語のミニマルペアを生成し、それを対象言語の翻訳とペアリングすることです。これにより、英語のパラレルデータが利用可能な任意の言語に対して、モデルの特定の側面を診断することができます。このアプローチの利点は、ターゲット言語のラベル付きデータを必要とせずに、多言語埋め込みの品質を評価できる点にあります。
研究チームは、多様な埋め込みモデルと3つのパラレルデータセットにわたる275以上の言語で大規模な実証研究を実施しました。ALEEでのパフォーマンスは、言語、テキストの長さ、言語現象によって大きく異なりました。これにより、トレーニングリソースにおける言語の普及度やサブワードトークン化と相関する、言語横断的なセマンティック表現の持続的なギャップが明らかになりました。例えば、高リソース言語（英語、中国語など）ではモデルの性能が高い一方、低リソース言語（アフリカの言語や先住民の言語など）では性能が低くなる傾向があり、これはトレーニングデータの不均衡を反映しています。
研究者らはALEEのコードをhttps://github.com/Andrian0s/any-lang-embed-evalで公開しており、コミュニティによるさらなる研究と改善を促進しています。このフレームワークは、多言語埋め込み評価の新しい標準となり、より公平で包括的なモデルの比較と最適化を推進することが期待されます。