DiscoExplorer:多语言话语关系研究的开放接口
话语关系(如因果、让步)是计算语言学和语用学的重要课题,但跨语言研究面临数据复杂和接口缺乏的挑战。DiscoExplorer 是一个开源的本地运行网页接口,整合了 DISRPT 共享任务中 16 种语言的话语关系数据集,提供查询语言、搜索和可视化功能,旨在简化多语言话语关系的分析。
在计算语言学和语用学领域,话语关系——如因果(“因为 A 所以 B”)或让步(“虽然 A 但是 B”)——是连接命题的核心机制,也是研究的热点。然而,跨语言比较这些关系长期面临重大挑战。一方面,不同数据集之间的话语关系清单缺乏统一标准,导致比较困难;另一方面,即使近年标准化工作取得进展,数据的复杂性和缺乏易用的分析接口仍然阻碍着研究的深入。
为突破这一瓶颈,乔治城大学的 Amir Zeldes 等人开发了 DiscoExplorer,一个全新的开源网页接口。该工具设计为在本地计算机上运行,无需依赖外部服务器,从而保障了数据隐私和可定制性。DiscoExplorer 的核心功能是整合来自 DISRPT 共享任务的话语关系数据集,覆盖了包括英语、汉语、日语、德语、法语等在内的 16 种语言。研究者可以通过统一的界面访问这些数据集,无需处理复杂的原始数据格式。
DiscoExplorer 提供了三大核心功能:首先,一种灵活的查询语言,允许用户根据关系类型(如因果、对比、时序等)和信号设备(如连接词“因为”、“虽然”)进行细粒度检索;其次,搜索工具能够快速定位语料中的具体实例,并支持正则表达式等高级搜索;最后,可视化模块以图形化方式展示关系分布和信号设备的频率模式,帮助研究者直观把握语言间的异同。论文还通过几个示例研究展示了工具的实用性,例如分析不同语言中因果关系的表达倾向。
该工具的发布填补了多语言话语关系研究中分析平台缺失的空白。通过提供易用的接口,DiscoExplorer 有望推动话语分析领域的跨语言实证研究,并为自然语言处理应用(如机器翻译、文本生成、对话系统)提供基础资源。由于是开源项目,研究者可以自由扩展数据集、添加新语言或定制功能,促进协作与创新。