トキポナにおけるWord2Vecの限界を探る

Word2Vecは、単語のベクトル表現を生成するための古典的なアルゴリズムであり、その有効性は多くの言語で確認されているが、それらの言語は通常、大量の語彙を有している。本研究では、約130語しかない人工言語トキポナ（Toki Pona）を用いて、Word2Vecが極端に少ない語彙環境でも意味関係を捉えられるかを検証した。研究者たちは、トキポナコミュニティから収集した140万文（合計795万トークン）を使用した。このコーパスの約23%の文には、固有名詞、借用語、新造語などの非コアトークンが含まれている。これらの言語的ノイズが性能に与える影響を調べるため、全てのトークンを保持したモデルと非コアトークンをフィルタリングしたモデルの2つを訓練した。

評価は、定量的および定性的な手法を組み合わせて行われた。具体的には、単語と意味カテゴリの中心との近接性、凝集型クラスタリングによるシルエットスコア、英語との表現類似性行列の比較などが用いられた。結果は、非コアトークンが疎であっても学習された埋め込みの相対構造を変えず、むしろ類似した単語をベクトル空間でより近づけることを示した。例えば、非コアトークンを含むモデルでは、意味的に類似した単語がより密にクラスタリングされることが確認された。また、英語の埋め込みと比較した類似性行列の分析から、トキポナの埋め込みは英語とは異なる独自の構造を持ちながらも、意味的な関係を保持していることが示された。

重要なのは、Word2Vecの効果が語彙数ではなく、分布パターンに依存するという点である。この発見は、伝統的な語彙量の重要性に疑問を投げかけ、少数語彙の言語（危機言語や人工言語など）に対する自然言語処理研究に新たな視点を提供する。また、適度な言語ノイズは埋め込みの品質を向上させる可能性があることも示唆している。この研究は、Word2Vecの適用範囲を広げるだけでなく、埋め込み学習におけるノイズの役割について重要な洞察を提供する。特に、低リソース言語や人工言語の処理において、既存の手法がそのまま適用できる可能性を示した。本論文は10ページ、4つの図、3つの表から構成されており、計算言語学会（SCiL）2026で採択され、発表予定である。