最近、EMNLP 2025で発表された論文が、マルチモーダル大規模言語モデル（MLLM）によるプロンプティングと個別化選好アライメントを組み合わせることで、カバー画像生成の品質とユーザー訴求力を大幅に向上させるフレームワーク「ICG」を提案した。本研究はZhipeng Bian氏ら9名の共著者によって行われ、計算言語学のトップカンファレンスであるEMNLP 2025のメイントラックに採録されている。
デジタルプラットフォームにおいて、カバー画像はユーザーのクリックを誘引しエンゲージメントを高める上で極めて重要である。しかし、個別化されたカバー画像生成はこれまで十分に研究されていなかった。既存の拡散モデルベースの手法は、手作業で設計されたプロンプトに依存し、モジュールが分断されているため、エンドツーエンドの最適化が難しく、ユーザーの選好に応じた個別化も実現できていなかった。ICGフレームワークはこれらの課題を解決するために設計され、MLLMの意味理解能力と拡散モデルの画像生成能力を融合し、個別化選好アライメント機構を導入している。
ICGの核心的な革新は、プロンプト生成と個別化注入のメカニズムにある。まず、フレームワークはアイテムのタイトルと参照画像からメタトークンを介して意味的特徴を抽出し、これらの特徴をユーザー埋め込みベクトルと融合させることで個別化されたコンテキスト表現を形成し、拡散モデルの条件入力に直接注入する。これにより、生成されるカバー画像はコンテンツの意味と一致するだけでなく、特定のユーザーの美的選好を反映する。ラベル付きデータが不足している状況でモデルを訓練するため、研究チームはマルチ報酬学習戦略を設計した。一方では公開された美的品質と意味的関連性の報酬を利用して生成画像の基本品質を確保し、他方ではユーザーの履歴行動から訓練された個別化選好モデルを利用して生成方向を導き、カバー画像を個々のユーザーの好みに適合させる。
従来のMLLMと拡散モデルを独立したモジュールとして直列に接続するパイプラインとは異なり、ICGはアダプタを介して両者を橋渡しし、エンドツーエンドの共同訓練を実現する。このアダプタはプラグアンドプレイ特性を持ち、一般的なモデルチェックポイントと互換性があり、元のネットワーク構造に大規模な変更を加える必要がない。最適化プロセスにおいて、ICGは正解ラベルを一切必要とせず、マルチ報酬信号による強化学習的な最適化を行うため、データ注釈コストを大幅に削減し、手法の汎用性を高めている。
実験結果は、ICGが複数の評価指標で顕著な改善を達成したことを示している。生成されたカバー画像は、画像品質、意味的忠実性、個別化の程度においてベースライン手法を上回り、下流の推薦タスクにおいてより強いユーザー訴求力とオフライン推薦精度を示した。これは、アダプタを介したMLLMと拡散モデルのエンドツーエンド訓練の有効性を検証するものであり、個別化コンテンツ生成に新たな道を開くものである。
総じて、ICGフレームワークは個別化カバー画像生成のための完全なソリューションを提供する。そのプラグアンドプレイ設計、正解ラベル不要の訓練方式、そして顕著な性能向上により、産業界と学界の両方で広範な応用の可能性を秘めている。将来的には、このフレームワークがより広範なコンテンツ生成タスクに拡張され、AI生成コンテンツの個別化をさらに推進することが期待される。