標準WERがインド言語で機能しない理由

要点

• インド言語では口語と文語の差異、コードミキシング、複数の有効な表記によりWER/CERが誤判定を生む。
• LLM-WER/LLM-CERはLLMを使用して意味的等価性を判断し、表面的な違いを無視する。
• 意図スコアとエンティティ保存スコアは意味保存と固有表現の正確性を測定する。
• COMETは翻訳品質評価においてBLEUよりも優れた指標である。