本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

はしごを登る:低リソース環境におけるデータパイプラインの自動化とベースラインの再現

記事の要約

本論文は、シチリア語向けの小規模なニューラル機械翻訳システムのデータパイプラインを再構築し、バイリンガル誌『Arba Sicula』のPDFから対訳テキストを再抽出するとともに、トークン化と語尾変化を考慮したサブワード分割をPerl非依存の実装へ移植した。ゼロから学習した小型TransformerとLoRAで適応した事前学習済みNLLBを比較し、事前学習モデルが圧倒的に優れ、段階的学習はシチリア語への翻訳でより効果がある一方、多言語アダプタは未学習の方向を劣化させることを示した。

ソースarXiv Computational Linguistics著者: Donato Meoli, Eryk Wdowiak
はしごを登る:低リソース環境におけるデータパイプラインの自動化とベースラインの再現
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模な多言語翻訳システムは今やシチリア語も対象に含んでいるが、その学習データは雑音が多く標準化されていないウェブテキストに由来している。翻訳品質を高めるため、MeoliとWdowiakは本論文で、Wdowiakがシチリア語向けにカスタマイズした小規模なニューラル機械翻訳(NMT)システムを再開発し、低リソース環境でデータパイプラインを自動化しつつ再現可能なベースラインを確立することを目指した。

まず著者らは対訳コーパスの構築をやり直した。バイリンガル誌『Arba Sicula』のPDFから対訳テキストを抽出する処理を、現在も保守されているソフトウェア上に再実装している。文の整列には言語に依存しない文エンコーダを用い、その閾値は既存の人手による整列結果を基準に調整したうえで、自動整列に典型的な誤りを除去するフィルタをかける。これにより、誌に由来する文学的なテキストを保ちつつ、自動処理が持ち込む雑音を抑えている。

次にテキスト処理である。元システムのトークン化と、語尾変化(desinence)に偏ったサブワード分割を、Perlを使わない実装へ移植し、パイプライン全体を保守・再現しやすくした。評価はすべて、誌から抽出した固定のテストセット上で行い、異なる手法間の比較可能性を確保している。

モデル面では二つの方式を比較した。一つはゼロから学習する小型Transformer、もう一つは低ランク微調整で適応させた事前学習済みNLLBである。実験は双方向を対象とし、近縁言語であるイタリア語を橋渡し言語としても用いた。さらに著者らは、元システムの逆訓練レシピを事前学習モデルに適用している。すなわち、ウェブ上のシチリア語の逆翻訳を順方向スコアで選んだデータで第一段階を訓練し、その後、整理された文学テキストで第二段階を訓練する構成である。

結果として、事前学習モデルが二方式の中で明らかに優れていた。段階的訓練は、シチリア語からの翻訳よりもシチリア語への翻訳をより大きく改善する。元システムのテストセット上で、しかもその採点に用いたトークン空間において、より大きなアダプタとより多くの逆翻訳を用いた段階的モデルは、英語が関わる方向では元の逆訓練レシピを上回る一方、シチリア語とイタリア語の間では下回った。

著者らは制約も指摘している。多言語アダプタは、学習していない方向の性能を劣化させるため、汎用的な多言語モデルとしてそのまま使うことは難しい。これは、低リソース言語への適応において、特化性能と汎用性の間にトレードオフがあることを示している。論文は17ページ・表6点で、計算と言語(cs.CL)に分類され、ACM分類はI.2.7、2026年10月21日にarXivへ投稿された。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • バイリンガル誌の文を言語非依存の文エンコーダで整列し、人手整列に基づく閾値調整と自動整列の典型的誤りの除去を行う
  • トークン化と語尾変化を考慮したサブワード分割をPerl非依存の実装に移植し、誌から抽出した固定テストセットで評価する
  • 事前学習済みNLLBはゼロから学習した小型Transformerより明確に優れ、段階的学習はシチリア語への翻訳でより効果が大きい
  • 多言語アダプタは未学習の方向を劣化させ、汎用の多言語モデルとしての利用を制限する

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。