手语模型的音韵感知研究
一项新研究评估了手语识别（SLR）模型对手语音韵特征的感知能力，发现模型展现出涌现的音韵敏感性，但存在架构权衡：基于姿态的模型对手形对比敏感，而基于像素的模型更好地捕捉位置变化。
手语是一种具有组合性的语言系统，其意义通过手形、位置、运动等次词汇音韵参数的组合而生成。近年来，深度学习在手语识别（SLR）领域取得了长足进步，在翻译基准测试上表现优异。然而，这些模型究竟是真正区分了抽象的音韵特征，还是仅仅依靠低层的统计相关性，这一根本问题尚未得到解答。
近日，来自加州大学伯克利分校等机构的研究人员 Kayo Yin 及其合作者在一篇题为《Phonological Perception of Sign Language Models》的论文中，对 SLR 模型的音韵感知能力进行了系统评估。该论文被计算认知科学领域的顶级会议 CogSci 2026 接收，并已在 arXiv 上以编号 2606.28667 发布。
研究团队采用了两类方法：一是利用最小对（minimal pairs）来探测模型对不同音韵参数的敏感性；二是将模型学习到的潜在表示与人类行为数据进行对齐分析。最小对是指仅有某个音韵参数不同的手语词汇对，例如仅手形不同而位置和运动相同，从而可以精确测试模型对该参数的区分能力。
实验基于美国手语（ASL）数据，比较了两类主流架构：基于姿态的模型（以人体关键点坐标作为输入）和基于像素的模型（以原始视频帧作为输入）。结果揭示了显著的架构依赖效应：基于姿态的模型对手形对比表现出高度敏感性，而基于像素的模型则在位置变化的捕捉上更胜一筹。这一发现表明，不同的输入表征方式会导致模型关注不同的音韵维度。
更令人关注的是，研究还发现基于姿态模型学习到的潜在表示与人类感知相似性判断之间存在显著的正相关关系（皮尔逊相关系数 r≈0.49）。这意味着尽管模型尚未达到人类水平，但其内部表征在一定程度上与人类的音韵感知结构相吻合。
然而，研究也明确指出，当前的训练范式——通常使用大规模标注数据进行监督学习——不足以克服架构固有的归纳偏差。换言之，模型所展现的音韵知识在很大程度上受限于其输入表征和网络结构的选择。这一结论对手语识别系统的开发和改进具有重要指导意义：未来需要设计更能够融合多种音韵线索的架构，或探索结合语言学知识的训练方法。
该研究不仅为理解深度学习模型的语言学能力提供了新视角，也为手语技术在实际应用中的落地提供了理论依据。随着手语识别在无障碍通信、人机交互等领域的广泛应用，深入了解模型的语言学感知机制将有助于构建更加鲁棒和可信的系统。