慣用表現は、その意味がしばしば構成要素から直接導けないこと、文脈に強く依存すること、言語間での対応付けが難しいことから、自然言語処理における根強い課題であり続けている。既存の慣用句リソースは規模、文脈の多様性、多言語対応の面で限界があり、現代の言語モデルの評価には十分とは言えない。そこで研究者らは、慣用表現の理解・検索・解釈のための大規模多言語ベンチマーク「IdiomX」を提案した。
IdiomXは再現可能な多段階パイプラインで構築されている。まず語彙リソースから候補となる慣用句を抽出し、大規模な正規化処理を行い、制御された大規模言語モデルによる拡充で文脈と注釈を豊かにし、最後に構造化された検証を経てデータ品質を確保する。最終的なデータセットは19万以上の文脈付き例を含み、1万2千以上の慣用句をカバーする。英語、アラビア語、フランス語の間で整列された意味表現を提供し、各例には慣用的用法と字義的用法のラベル、および豊富な言語学的メタデータが付与されている。
このデータ資源に基づき、研究チームは4つのタスクからなる統一ベンチマークを定義した。第一に慣用句検出（テキスト中に慣用的用法が現れるかを判定）、第二に文脈から慣用句を検索するタスク、第三にアラビア語から英語への慣用句検索というクロスリンガル検索、第四に慣用句の意味を説明する解釈タスクである。これにより、単なる比喩表現の認識から、意味のグラウンディングや説明可能な意味検索へと評価範囲を広げている。
実験の結果、文脈考慮型Transformerモデルは慣用句検出タスクで大幅な改善を示した。単言語およびクロスリンガルの慣用句検索では、ハイブリッド検索と再ランキングを組み合わせたアーキテクチャが性能を著しく向上させた。さらに、慣用句の解釈は意味検索タスクとして効果的にモデル化できることが示され、解釈可能性がベンチマークの補完的な評価軸として導入された。
全体として、IdiomXは慣用表現の研究を検出から検索、そして意味解釈へと進展させるスケーラブルなベンチマークを提供し、追加言語や比喩推論タスクへ拡張可能なモジュール式フレームワークを備えている。論文は12ページ、21図からなり、データセットとコードはHuggingFace、Kaggle、GitHubで公開されている。