自然语言处理(NLP)应用需要大量丰富的语言知识。随着词典、百科和语料库等电子语言资源的普及,自动从这些资源中提取词汇信息的方法应运而生,以克服知识获取的瓶颈。本文提出了一种从阿拉伯语-英语Al-Mawrid词典的机器可读版本中自动提取词汇信息的方法。
研究者首先使用n-gram分析和关键词上下文(KWIC)分析来发现词汇模式。这些模式体现了词语的形态、句法或语义信息。例如,派生词模式可以反映词根和词缀的关系,而同义词模式则揭示了词语之间的语义相似性。通过分析词典文本中频繁出现的n-gram序列和关键词的上下文,研究者能够识别出潜在的信息类型。
接下来,研究者采用手工构建的基于规则的信息抽取方法从词典中提取这些模式对应的信息。对于形态信息,如派生词,规则会识别特定的词缀或模式;对于语义信息,如领域标签和上下位关系,规则则利用标点符号和结构特征进行提取。此外,研究者还利用标点符号和一些启发式规则来抽取子条目中的同义词集合。
实验结果显示,该方法在所有类型的信息抽取上都达到了高精确率,这意味着提取出的信息大多是正确的。对于同义词抽取,召回率也较高,说明系统能够覆盖大部分同义词;然而,对于其他类型的信息,召回率较低,表明系统遗漏了部分信息,这可能是因为规则覆盖不足或词典结构复杂。
研究还表明,Al-Mawrid词典包含大量的派生词(形态信息)以及同义词、领域标签和上下位关系(语义信息)。这些丰富的词汇知识对于NLP应用如机器翻译、信息检索和语义分析具有重要价值。该研究为从机器可读词典中自动构建词汇资源提供了可行的技术路线。
该论文发表于2014年11月26日至27日在摩洛哥乌季达举行的第五届国际阿拉伯语处理会议(CITALA 2014),共9页,包含7幅图和4张表。尽管原始会议网站已失效且没有公开的论文集PDF,但论文被列为存档的录用论文。该研究属于计算与语言(cs.CL)领域,arXiv标识符为2606.28457。