ビジュアルストーリーテリングは、物語のプロンプトに沿いながら、画像間でキャラクターの外観が一貫した画像シーケンスを生成することを目的としています。最近のトレーニング不要な手法は、アテンション特徴を再利用することでキャラクターの一貫性を向上させていますが、すべてのプロンプトで完全なキャラクター記述を繰り返す構造化プロンプトに依存しています。この仮定はタスクを単純化しますが、自然なストーリーテリングとはかけ離れています。自然なストーリーテリングでは、キャラクターは通常一度だけ紹介され、その後は代名詞やタイプベースの表現で言及されます。
この問題を解決するために、研究者らはFreeStoryを提案しました。これは、自由形式のプロンプトにおけるキャラクターの一貫性をエンティティに基づく特徴の再利用として再定式化するトレーニング不要のフレームワークです。この方法は、参照mentionを対応するキャラクター記述に関連付け、動的キャラクターマスク、対応認識特徴マッチング、キー値注入、クエリブレンディングを組み合わせることで、同一性を維持しながら生成の多様性を保持します。
研究チームはまた、この設定のためのベンチマークであるFreeStoryBenchを導入しました。これには単一キャラクターと複数キャラクターのストーリーが含まれます。実験により、FreeStoryは構造化ベンチマーク上でトレーニング不要手法の中で最先端の性能を達成し、自由形式プロンプト下ではベースラインよりも総合的な一貫性が強いことが示されています。
この論文は2026年6月23日に提出され、著者はSibo Dongら3名で、コンピュータビジョンとパターン認識（cs.CV）の分野に属します。要約では、FreeStoryが自然なストーリーテリングのシナリオで優位性を発揮することが強調されています。つまり、毎回のプロンプトで完全なキャラクター記述を繰り返す必要がなく、エンティティに基づくアプローチで特徴の再利用を実現します。
FreeStoryの中心的な革新は、キャラクターの一貫性問題を構造化プロンプトへの依存から自由形式プロンプトへと移行させることであり、これは実際のアプリケーションに近いものです。動的マスクと対応認識マッチングにより、システムは特定のキャラクターに関連する特徴を正確に識別して再利用し、新しい画像を生成する際にキャラクターの同一性を維持できます。キー値注入とクエリブレンディングは、特徴再利用の効果をさらに高め、過度な制約による多様性の低下を防ぎます。
FreeStoryBenchの導入は、自由形式プロンプト下でのキャラクター一貫性を評価するための標準的なテストプラットフォームを提供し、単一および複数キャラクターのストーリーをカバーすることで、この分野のさらなる研究を促進します。実験結果は、FreeStoryが構造化ベンチマークでも優れた性能を発揮し、その方法の汎用性と有効性を証明しています。
まとめると、FreeStoryはビジュアルストーリーテリングにおけるキャラクター一貫性のためのトレーニング不要のソリューションを提供し、特に自由形式プロンプトのシナリオに適しています。そのオープンソースフレームワークとベンチマークは、より自然で柔軟なビジュアルストーリー生成技術の発展を促進することが期待されます。