自己批判的マスク言語モデルを用いた広告見出し生成
本論文では、強化学習のポリシー勾配法を用いてTransformerベースのマスク言語モデルを最適化し、eコマースの広告見出しを自動生成する手法を提案する。この手法は、出品者が宣伝したい複数の商品を同時に考慮して見出しを生成し、重複指標と品質監査の両方で既存のTransformerやLSTM+RL手法を上回る。監査によれば、モデル生成の見出しは文法と創造性の両面で人間が作成した見出しを凌ぐ。
eコマースサイトにおいて、消費者の注意を引く魅力的な広告見出しを大規模に生成することは、容易ではない。特に、ウェブサイトのクリエイティブ品質基準を満たすことは難しく、多くの広告が却下される。Yashal Shakti Kanungoらの研究チームは、強化学習（RL）のポリシー勾配法を用いてTransformerベースのマスク言語モデルを最適化し、商品広告の見出しを自動生成する手法を提案した。この研究は、NAACL-HLT 2021のIndustry Trackで発表され、9ページの論文としてまとめられている。
提案手法の核となるのは、自己批判的マスク言語モデル（Self-Critical Masked Language Model）である。モデルは、出品者が宣伝したい複数の商品を同時に入力として受け取り、それらの関係性を考慮した見出しを生成する。従来の単一商品ベースの手法とは異なり、複数商品にまたがる共通の魅力を引き出すことができる。強化学習のポリシー勾配法により、生成された見出しの品質を直接最適化し、ROUGEなどの重複指標と人間の審査員による評価の両方を向上させる。
実験では、既存のTransformerモデルおよびLSTMとRLを組み合わせた手法と比較した。結果として、提案手法は重複指標と品質監査の両方で優れたパフォーマンスを示した。特に、人間が作成した見出しと比較しても、文法の正確性と創造性の面で高い評価を得た。このことは、自動生成が人間のクリエイティブな作業を十分に補完できることを示している。
この研究の産業的意義は大きい。大規模なeコマースプラットフォームでは、数百万もの商品に対して広告見出しを手動で作成することは現実的ではない。自動化ソリューションにより、コストを削減しつつ、一貫した品質を維持できる。また、モデルは多様な商品カテゴリやスタイルに対応可能であり、将来の拡張性も期待される。著者らはコードとデータを公開しており、再現性とさらなる発展に貢献している。
技術的な詳細としては、自己批判的シーケンストレーニング（SCST）を採用し、モデル自身が生成した見出しと人間の参照見出しを比較して報酬を計算する。Transformerのマスク言語モデルは事前学習されており、微調整によって特定のタスクに適応する。また、温度パラメータやビームサーチなどのデコード戦略も調整され、生成品質を高めている。
さらに、本研究では、生成された見出しの多様性も評価されている。過度に似た見出しが生成されることを防ぐため、多様性を促進するための損失項が導入されている。また、異なる商品数（1つ、2つ、3つなど）での実験も行われ、複数商品を同時に扱うことの有効性が確認された。これらの追加の実験結果は、手法の頑健性を示している。今後の研究として、より複雑な広告フォーマット（例：画像とテキストの組み合わせ）への拡張や、多言語への適用が考えられる。