より良い合成データを求めて？操縦せよ：低リソース言語生成のためのアクティベーションsteering

大規模言語モデル（LLM）は合成データ生成、特に低リソース言語において効果的なツールとなっており、生成データは下流タスク（感情分類やトピック分類など）の性能を向上させることができる。しかし現在の最良の手法は通常、ターゲット言語の例を用いたfew-shotプロンプトに依存しており、これにより推論コストが増加し、語彙的固定（lexical anchoring）によって多様性が低下する可能性がある。この問題に対処するため、arXivに投稿された新しい研究では、アクティベーションsteering（activation steering）を代替手法として調査している。

この研究では、2つのsteering戦略を提案している。言語steering（Language Steering）は、モデルの内部表現を調整して特定言語の言語的アイデンティティを強化し、生成テキストが対象言語の特性に合致するようにする。品質steering（Quality Steering）は、人間が書いたテキストと逆翻訳（backtranslated）テキストの表現を対比することで、テキストの well-formedness（適切な形式）を捉える。これらの戦略は単独または組み合わせて使用でき、合成データの品質を向上させる。

研究チームは、4つのオープンソースLLM（異なる規模やアーキテクチャを含む）と11の類型論的に多様な言語（高リソースおよび低リソース言語を含む）にわたって広範な評価を実施し、複数のTransformer層でのsteering効果をテストした。感情分類とトピック分類のデータセットを生成し、小型の分類器をファインチューニングして生成データの品質を評価した。結果は、初期層（例えば第0層から第4層）でのsteeringが、後期層と比較して、生成データの多様性を一貫して向上させ、特に低リソース言語においてより強い下流モデル性能をもたらすことを示している。

注目すべき点は、アクティベーションsteeringがゼロショットおよびfew-shotの両方のプロンプト設定で有効であり、steeringなしのベースラインと比較してほとんどのケースで優れていることである。これは、この手法が計算コストを大幅に増加させることなく、合成データ生成を改善する汎用性と実用性を持つことを示唆している。この研究は、低リソース言語のデータ生成に新たな視点を提供し、人手によるアノテーションデータへの依存を減らし、多言語NLPの発展に貢献することが期待される。