手話は単なるジェスチャーの寄せ集めではなく、意味が手の形、位置、動きといった語彙下(sublexical)の音韻パラメータの組み合わせによって生まれる compositional なシステムである。深層学習を用いた手話認識(Sign Language Recognition, SLR)は翻訳ベンチマークで性能を伸ばしてきたが、こうしたモデルが抽象的な音韻特徴を区別しているのか、それとも低次の統計的相関に依存しているだけなのかは明らかになっていない。
Kayo Yin ら4名による論文「Phonological Perception of Sign Language Models(手話モデルの音韻知覚)」はこの問いに取り組むもので、CogSci 2026に採択され、arXiv:2606.28667(cs.CL)として公開された。研究はアメリカ手話(ASL)で学習したSLRモデルを対象に、二つの補完的な評価手法を採用する。第一に、最小対(minimal pairs)を用いてモデルの音韻的敏感さを探る。第二に、モデルの内部表現を人間の行動データと比較し、アラインメントを評価する。
実験結果は興味深いパターンを示した。全体としてSLRモデルには創発的な音韻感度が見られ、学習が表層的な統計だけに依存しているわけではないことが示唆される。しかし、アーキテクチャ間には明確なトレードオフが存在する。姿勢(pose)ベースのモデルは手の形の対比に敏感である一方、ピクセル(pixel)ベースのモデルは位置の変化をよりよく捉える。つまり、どの音韻特徴を知覚できるかは、入力表現に由来する帰納バイアスに大きく左右される。
さらに、姿勢ベースのモデルが獲得した潜在表現は、人間の知覚類似性判断と中程度の相関(r≈0.49)を持つことが分かった。これはモデルの内部空間がある程度人間の直感を反映していることを意味するが、完全に一致しているわけではない。
著者らは、SLRモデルが創発的な音韻能力を示すものの、現在の学習パラダイムではアーキテクチャ固有の帰納バイアスを超えて拡張することはできないと結論づける。この知見は手話翻訳・認識システムの設計に直接的な示唆を与える。言語学的な深みを高めるには、データ拡大やベンチマーク指標の最適化だけでは不十分であり、入力表現や学習目標のレベルで手話の音韻構造に即した設計を導入する必要がある。
論文は2026年6月27日に投稿され、PDF、実験的なHTML版、TeXソースがarXivから入手可能である。