语义声子:AI内部结构中的晶格振动
本文提出“语义声子”框架,将词嵌入的几何结构类比为晶格振动。通过分析PMI矩阵的特征模态,解释了不同边界条件(周期性、Dirichlet、Neumann、Robin、二维)如何塑造嵌入空间中的语义连续体。实验在GloVe和Gemma 2B中验证了该框架。
语义声子:AI内部结构中的晶格振动
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。
本文提出“语义声子”框架,将词嵌入的几何结构类比为晶格振动。通过分析PMI矩阵的特征模态,解释了不同边界条件(周期性、Dirichlet、Neumann、Robin、二维)如何塑造嵌入空间中的语义连续体。实验在GloVe和Gemma 2B中验证了该框架。
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。