视觉叙事旨在生成既与叙事提示对齐、又在各图像间保持角色外观一致的图像序列。近期的免训练方法通过重用注意力特征来提升角色一致性,但这些方法依赖于结构化提示,即在每个提示中重复完整的角色描述。这种假设简化了任务,却偏离了自然叙事的方式——在自然叙事中,角色通常只介绍一次,之后便用代词或类型化表达来指代。
为了解决这一问题,研究者提出了 FreeStory,一个免训练框架,将自由形式提示下的角色一致性重新表述为基于实体的特征重用。该方法将引用提及与对应的角色描述关联起来,并结合动态角色掩码、对应感知特征匹配、键值注入和查询混合,在保持身份的同时保留生成多样性。
研究团队还推出了 FreeStoryBench,这是一个针对该设定设计的基准,包含单角色和多角色故事。实验表明,FreeStory 在结构化基准上达到了免训练方法中的最先进性能,并在自由形式提示下展现出比基线更强的整体一致性。
该论文提交于2026年6月23日,作者为 Sibo Dong 等三人,属于计算机视觉与模式识别(cs.CV)领域。论文的摘要强调了 FreeStory 在自然叙事场景下的优势,即无需在每次提示中重复完整角色描述,而是通过实体接地的方式实现特征重用。
FreeStory 的核心创新在于将角色一致性问题从依赖结构化提示转移到自由形式提示,这更贴近实际应用场景。通过动态掩码和对应感知匹配,系统能够准确识别并重用与特定角色相关的特征,从而在生成新图像时保持角色身份。键值注入和查询混合则进一步增强了特征重用的效果,同时避免了过度约束导致的多样性下降。
FreeStoryBench 的引入为评估自由形式提示下的角色一致性提供了标准测试平台,涵盖了单角色和多角色故事,有助于推动该领域的进一步研究。实验结果表明,FreeStory 在结构化基准上同样表现出色,证明了其方法的通用性和有效性。
总之,FreeStory 为视觉叙事中的角色一致性提供了一种无需训练的解决方案,特别适用于自由形式提示的场景。其开源框架和基准有望促进更自然、更灵活的视觉故事生成技术的发展。