クリーンテキストを超えて：ノイズのあるテキストにおけるベンガル語イベント検出のエンコーダとデコーダのロバスト性評価
本研究は、ベンガル語のイベント検出システムの実世界のノイズ環境におけるロバスト性を評価するため、クリーンテキスト、ASR書き起こし、正書法上の破損テキストを含む40のイベントサブタイプにわたる9,979件の注釈付き文からなるベンチマークを導入。結果は、エンコーダモデルがクリーンテキストでは優れるがノイズ下で劣化する一方、デコーダのみのLLMがよりロバストであるというトレードオフを示す。命令チューニングに注釈ガイドラインを埋め込むとノイズテキストのベースライン性能が向上するが、一貫性はない。モデルスケーリングはデコーダのロバスト性を向上させ、混合トレーニングは特にエンコーダに利益をもたらしロバスト性ギャップを縮める。
最近、Tanvir Ahmed Sijan氏らによる研究（論文番号arXiv:2606.30914）が、ベンガル語のイベント検出システムの実世界ノイズ環境におけるロバスト性を評価しました。従来、イベント検出（ED）システムはクリーンで整えられたテキストでのみ評価され、特にベンガル語のような低リソース言語では、実世界のノイズに対するロバスト性はほとんど調査されていませんでした。この研究では、汎用的なベンガル語ニュースイベントオントロジーを構築し、クリーンテキスト、実際の自動音声認識（ASR）書き起こし、正書法上の破損テキストを含む、40のイベントサブタイプにわたる9,979件の注釈付き文からなるベンチマークデータセットを作成しました。
モデル評価では、ファインチューニングされたエンコーダのみのモデル（BanglaBERTとXLM-R）と、命令チューニングされたデコーダのみの大規模言語モデル（LLaMA 3とGemma 3）を体系的に比較しました。結果は明らかなアーキテクチャ上のトレードオフを示しました。エンコーダモデルはクリーンテキストで高い性能を達成するものの、ノイズ下では大幅に性能が低下します。一方、デコーダのみのLLMは、特にイベントトリガーが破損した場合に、著しくロバストであることがわかりました。さらに、命令チューニング中に注釈ガイドラインを埋め込むことで、ノイズテキスト上の性能ベースラインが向上することが示されましたが、ノイズ条件間での性能劣化の低減には一貫性がありませんでした。
モデルスケーリングはデコーダのみのLLMのロバスト性を一貫して向上させました。一方、クリーンとノイズのデータを組み合わせた混合トレーニングは効果的な正則化戦略として機能し、特にエンコーダアーキテクチャに不均衡な利益をもたらし、ロバスト性のギャップを大幅に縮小しました。この研究は、低リソース言語のイベント検出システムを実際に展開する際に、クリーン環境ではエンコーダモデル、ノイズ環境ではデコーダLLMが有利であること、そして混合トレーニングがロバスト性ギャップを縮小する有効な手段であることを示唆しています。