DiscoExplorer:多語言話語關係研究的開放接口
話語關係(如因果、讓步)是計算語言學和語用學的重要課題,但跨語言研究面臨數據複雜和接口缺乏的挑戰。DiscoExplorer 是一個開源的本地運行網頁接口,整合了 DISRPT 共享任務中 16 種語言的話語關係數據集,提供查詢語言、搜索和可視化功能,旨在簡化多語言話語關係的分析。
在計算語言學和語用學領域,話語關係——如因果(“因為 A 所以 B”)或讓步(“雖然 A 但是 B”)——是連接命題的核心機制,也是研究的熱點。然而,跨語言比較這些關係長期面臨重大挑戰。一方面,不同數據集之間的話語關係清單缺乏統一標準,導致比較困難;另一方面,即使近年標準化工作取得進展,數據的複雜性和缺乏易用的分析接口仍然阻礙着研究的深入。
為突破這一瓶頸,喬治城大學的 Amir Zeldes 等人開發了 DiscoExplorer,一個全新的開源網頁接口。該工具設計為在本地計算機上運行,無需依賴外部服務器,從而保障了數據隱私和可定製性。DiscoExplorer 的核心功能是整合來自 DISRPT 共享任務的話語關係數據集,覆蓋了包括英語、漢語、日語、德語、法語等在內的 16 種語言。研究者可以通過統一的界面訪問這些數據集,無需處理複雜的原始數據格式。
DiscoExplorer 提供了三大核心功能:首先,一種靈活的查詢語言,允許用户根據關係類型(如因果、對比、時序等)和信號設備(如連接詞“因為”、“雖然”)進行細粒度檢索;其次,搜索工具能夠快速定位語料中的具體實例,並支持正則表達式等高級搜索;最後,可視化模塊以圖形化方式展示關係分佈和信號設備的頻率模式,幫助研究者直觀把握語言間的異同。論文還通過幾個示例研究展示了工具的實用性,例如分析不同語言中因果關係的表達傾向。
該工具的發佈填補了多語言話語關係研究中分析平台缺失的空白。通過提供易用的接口,DiscoExplorer 有望推動話語分析領域的跨語言實證研究,併為自然語言處理應用(如機器翻譯、文本生成、對話系統)提供基礎資源。由於是開源項目,研究者可以自由擴展數據集、添加新語言或定製功能,促進協作與創新。