イベント検出(ED)システムは通常、クリーンでキュレーションされたテキストで評価されており、実世界のノイズに対するロバスト性、特にベンガル語のような低リソース言語におけるそれはほとんど未解明のままである。この空白に対処するため、新しい論文が汎用的なベンガル語ニュースイベントオントロジーを提案し、40のイベントサブタイプにわたる9,979の注釈付き文からなるベンチマークを構築した。このベンチマークは、クリーンなニューステキスト、実世界の自動音声認識(ASR)転写テキスト、そして正書法の破損したテキストを含み、ノイズ環境下でのモデル性能を体系的に評価するためのテストベッドを提供する。
研究チームは、微調整されたエンコーダのみのモデル(BanglaBERTとXLM-R)と、指示チューニングされたデコーダのみの大規模言語モデル(Llama 3とGemma 3)の2つのアーキテクチャを体系的に評価した。実験結果は明確なアーキテクチャのトレードオフを明らかにした。エンコーダモデルはクリーンなテキストでより高い性能を達成するが、ノイズ条件下では性能が大幅に低下する。一方、デコーダのみのLLMは著しく高いロバスト性を示し、特にイベントトリガーが破損した場合にその優位性が顕著である。
さらに、指示チューニング中にアノテーションガイドラインを埋め込むことで、ノイズの多いテキストに対してより高い性能ベースラインを確立できることが示されたが、ノイズ条件間での性能劣化の減少効果は一貫していない。また、モデルのスケーリングはデコーダのみのLLMのロバスト性を一貫して改善する。クリーンなデータとノイズの多いデータを組み合わせたトレーニングは効果的な正則化戦略として機能し、この戦略はエンコーダアーキテクチャに不釣り合いなほど大きな利益をもたらし、エンコーダとデコーダの間のロバスト性ギャップを大幅に縮小する。
本論文はarXiv(arXiv:2606.30914v1 [cs.CL])に2026年6月29日に投稿され、17ページ、8図からなる。計算と言語(cs.CL)分野に属し、著者はTanvir Ahmed Sijanら4名である。この研究は、低リソース言語におけるイベント検出のロバスト性研究に重要なベンチマークと方法論的示唆を提供し、実世界のノイズ環境下でのモデル評価の重要性を強調するとともに、合同トレーニングとモデルスケーリングがロバスト性向上に果たす可能性を示している。