手語模型的音韻感知研究

手語是一種具有組合性的語言系統，其意義通過手形、位置、運動等次詞彙音韻參數的組合而生成。近年來，深度學習在手語識別（SLR）領域取得了長足進步，在翻譯基準測試上表現優異。然而，這些模型究竟是真正區分了抽象的音韻特徵，還是僅僅依靠低層的統計相關性，這一根本問題尚未得到解答。

近日，來自加州大學伯克利分校等機構的研究人員 Kayo Yin 及其合作者在一篇題為《Phonological Perception of Sign Language Models》的論文中，對 SLR 模型的音韻感知能力進行了系統評估。該論文被計算認知科學領域的頂級會議 CogSci 2026 接收，並已在 arXiv 上以編號 2606.28667 發佈。

研究團隊採用了兩類方法：一是利用最小對（minimal pairs）來探測模型對不同音韻參數的敏感性；二是將模型學習到的潛在表示與人類行為數據進行對齊分析。最小對是指僅有某個音韻參數不同的手語詞彙對，例如僅手形不同而位置和運動相同，從而可以精確測試模型對該參數的區分能力。

實驗基於美國手語（ASL）數據，比較了兩類主流架構：基於姿態的模型（以人體關鍵點座標作為輸入）和基於像素的模型（以原始視頻幀作為輸入）。結果揭示了顯著的架構依賴效應：基於姿態的模型對手形對比表現出高度敏感性，而基於像素的模型則在位置變化的捕捉上更勝一籌。這一發現表明，不同的輸入表徵方式會導致模型關注不同的音韻維度。

更令人關注的是，研究還發現基於姿態模型學習到的潛在表示與人類感知相似性判斷之間存在顯著的正相關關係（皮爾遜相關係數 r≈0.49）。這意味着儘管模型尚未達到人類水平，但其內部表徵在一定程度上與人類的音韻感知結構相吻合。

然而，研究也明確指出，當前的訓練範式——通常使用大規模標註數據進行監督學習——不足以克服架構固有的歸納偏差。換言之，模型所展現的音韻知識在很大程度上受限於其輸入表徵和網絡結構的選擇。這一結論對手語識別系統的開發和改進具有重要指導意義：未來需要設計更能夠融合多種音韻線索的架構，或探索結合語言學知識的訓練方法。

該研究不僅為理解深度學習模型的語言學能力提供了新視角，也為手語技術在實際應用中的落地提供了理論依據。隨着手語識別在無障礙通信、人機交互等領域的廣泛應用，深入瞭解模型的語言學感知機制將有助於構建更加魯棒和可信的系統。