Word2Vec が意味埋め込みの生成に有効であることは広く検証されてきたが、その検証はほぼ例外なく語彙規模の大きい言語を対象としてきた。2026年6月15日に投稿された論文「Examining the Limits of Word2Vec with Toki Pona」は、約130語という極端に小さな語彙を持つ人工言語トキポナ（Toki Pona）を用いて、語彙が極限まで絞られた場合でも Word2Vec が語同士の意味的関係を捉えられるかを調べたものである。著者は Daniel Zhenhan Huang と共同研究者1名で、全10ページ、図4点、表3点からなり、Society for Computation in Linguistics（SCiL）2026 に採択済み。計算と言語（cs.CL）分野に分類され、arXiv 番号は 2606.17299v1 である。
研究に使われたコーパスは決して小規模ではない。著者らはトキポナのコミュニティから約140万文、合計約795万トークンを収集して訓練に用いた。注目すべきは、コーパス内の約23%の文が、固有名詞や借用語、新造語といったトキポナ以外のトークンを含んでいる点である。こうした「言語的ノイズ」が単語埋め込みの性能を高めるのか、それとも妨げるのかという問題は、埋め込み研究の文献ではほとんど扱われてこなかった。そこで研究チームは、これらの付随的トークンを残したモデルと、完全に除去したモデルの2種類を訓練し、比較した。
評価は定量的手法と定性的手法を組み合わせて行われた。定量的には、単語と意味カテゴリの重心との近さを測る指標と、凝集型クラスタリングによる自動シルエットスコアを用いた。定性的には、表現類似度行列（RSA）を用いて、トキポナから得られた埋め込み構造を英語の構造と比較し、意味の組織化における類似点と相違点を分析した。
実験結果は二つの知見を示している。第一に、疎で非中核的なトークンは学習された埋め込みの相対構造に影響を与えず、むしろ意味の近い語同士をベクトル空間上でより近づける効果を持つことが分かった。つまり一見「汚染」に見えるノイズは必ずしも有害ではない。第二に、より重要な点として、語彙がこれほど極端な下限にある場合でも、Word2Vec の有効性は辞書の大きさよりもコーパス内の分布パターンに大きく依存するということである。言い換えれば、意味のある関係を学習できるかどうかは語数ではなく、実際のテキスト中で語がどのように共起し、安定した文脈統計を形成しているかにかかっている。
本研究の意義は、単語埋め込みの適用範囲を広げた点にある。従来は大規模な辞書と十分なコーパスが不可欠だと考えられてきたが、トキポナという極端な事例は、分布の信号が十分に豊かであれば、語彙がごく小さくても意味構造を捉えられることを示した。同時に、コーパス中の非中核的トークンは単なる不純物ではなく、条件次第では埋め込み空間の凝集に寄与し得るという注意も促している。本論文は arXiv で公開されており、DOI は 10.48550/arXiv.2606.17299、2026年6月15日21:07:31 UTC 投稿の v1 である。