跳到主要内容
AI News HubLIVE
站内改写5 分钟阅读

Social Department 如何构建文化感知的视频发现系统

文章摘要

Social Department 与 TrackIt、AWS 合作,基于 Amazon Bedrock 上的 TwelveLabs 模型和 Amazon OpenSearch Serverless,构建了 QuickSearch:通过单次操作查询,在大型视频库中找出可分享的场景、可引用的台词、可制成表情包的帧以及与趋势对齐的时刻。

来源AWS Machine Learning Blog作者: Mariah Miller
Social Department 如何构建文化感知的视频发现系统
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

娱乐营销团队通常管理着来自制片厂、电视网和流媒体应用的数万个视频资产。几乎每个营销活动都从同一个视频发现难题开始:在素材中找到那个能引起观众共鸣的瞬间。当需求下达时,时间就开始倒计时,而他们所需的内容几乎从来不是数据库能够描述的。

单独使用语义搜索有其上限:它只能回答你能明确表述的问题。如果你让它找一个角色端着咖啡杯的画面,它会在上千集内容中找到每一个咖啡杯。但真正推动娱乐营销的查询与此截然不同,它们是判断性问题:剧集中哪个瞬间会传播开来,哪句台词值得引用,哪一帧适合做成表情包。

这些问题无法直接输入搜索框。要回答它们,需要搜索索引所不具备的两样东西:针对特定内容库对“可引用”或“可表情包化”的编辑定义,以及对外部动态的持续刷新视图。过去,回答这些问题意味着由一位深入了解该剧的人花一周时间观看素材,而这样的人无法扩展到整个内容目录。

本文介绍 Social Department 如何将这些编辑问题编码为可执行的检索管道。成果是 QuickSearch,一组单次操作查询,无需营销人员描述就能返回他们寻找的片段:可分享场景、可引用台词、可表情包时刻和趋势对齐。

该解决方案中的模型运行在 Amazon Bedrock 上,因此客户数据保留在 AWS 数据边界内,不会与模型提供商共享,也不会用于训练底层模型。

Social Department 的负责任 AI 原则是“AI 提议,人类决定”。在生产环境中,代码会对照源材料检查生成输出(例如,如果台词不在剧集转录文本中,就会被丢弃)。Amazon Bedrock Guardrails 帮助筛选客户搜索文本中的提示攻击,而客户团队中的人员会在发布前批准每一条帖子。

Social Department 拥有管道架构、检索系统以及每个操作背后的编辑标准。AWS Premier 级服务合作伙伴 TrackIt 负责实现和交付该设计。TwelveLabs 的 Marengo 3.0 和 Pegasus 1.2 模型在 Amazon Bedrock 上提供管道所依赖的场景级视频推理能力。AWS 提供基础设施、模型访问(包括 Anthropic 的 Claude 模型)以及使用无服务器选项的 Amazon OpenSearch Service(即 Amazon OpenSearch Serverless)进行检索。

需要说明范围:本文描述系统的 AWS 部分,包括摄取和索引管道、检索路径以及运行它们的服务。Social Department 拥有的组件,包括其媒体和数据骨干、内容分析和发现引擎、编辑标准以及评估计划,仅以理解架构所需的深度进行描述。下文提到的服务是本文重点,并非 Social Department 完整系统的清单。

关于 Social Department

Social Department 是面向娱乐营销的 AI 操作系统,服务于主要制片厂、电视网、流媒体和 FAST 应用。它自动化营销活动策略、资产创建、发布和性能优化,覆盖客户的整个内容库。这些功能大多依赖于首先在素材中找到正确的瞬间,而语义片段发现从一开始就是产品的核心。

为什么仅有语义搜索不够

娱乐营销面临两个通用搜索层无法满足的约束。

有价值的查询是那些无人能表述的查询

营销人员可以描述一个物体、一个地点或一句对话,但无法描述什么会传播。这种判断——这个瞬间会火,那个不会——才是工作中的真正技能。它一直无法自动化,因为它取决于了解观众行为,而非视频内容。只理解内容的搜索层需要人类提供意图,而提供好意图需要已经看过这部剧。

趋势信号存在于内容库之外,且以不同的节奏变化

再多的视频理解也无法告诉你今天早上观众在谈论什么。这些信息在内容库之外产生,每小时都在变化,而内容库只在添加新内容时变化。回答这些查询的系统必须持续获取趋势信号,并在请求时将其与内容库进行协调。

这一区别驱动了核心架构决策:内容理解和趋势获取作为独立管道按各自时间表运行,仅在用户选择 QuickSearch 操作时进行连接。

解决方案概述

通过 QuickSearch,团队可以以不同方式与视频库交互,系统会主动提议而非等待。它提供四种操作,每种都有自己的检索策略、编辑标准和排名模型。以下演练描述每种操作的实现方式。这里的列表介绍它们的功能。

可分享场景呈现实质性的、自包含的场景,如长时间对峙、高潮和关键场景,偏向于发展完整的序列而非快速反应。

可引用台词寻找简洁有力的可引用对话,限制在短片段长度内,在可获得该标题信号的情况下,优先考虑那些已明显传播的台词。

可表情包时刻识别可作为表情包的单个帧,并基于实际帧生成字幕。专门的提取和评分步骤选择帧,而非直接取缩略图。

趋势对齐获取当前热门趋势,并在内容库中找到与趋势合法关联的时刻,使多年前已完结的剧集能够重新进入实时对话。

除此之外,Social Department 保留自然语言搜索以覆盖操作未涉及的内容,以及基于图像的搜索,即参考图像返回内容库中视觉相似的内容。

下图显示架构三个部分的连接方式。内容理解管道使内容库可搜索,趋势获取通道引入外部趋势信号。QuickSearch 作业层在请求时连接两者。

图 1:高层架构

架构演练

系统有三个部分,按独立时间表运行。两个获取并结构化信息,第三个将用户的单次选择解析为跨两者的多阶段检索操作。

内容理解管道

该管道使内容库可读。它在摄取时异步工作。AWS Step Functions 状态机端到端编排约两打 Python AWS Lambda 函数。以下步骤追踪一个视频从上传到索引片段的过程。

上传和触发 – 视频进入每个团队的 Amazon Simple Storage Service(Amazon S3)桶。S3 Object Created 事件通过 Amazon EventBridge 路由,启动 Step Functions 执行。

元数据 – 第一个 Lambda 函数根据 Social Department 的媒体和数据骨干解析标题、团队、剧集和公共标识符,将视频元数据写入 Amazon DynamoDB,并将资产报告为处理中。

转码 – AWS Elemental MediaConvert 将资产转码为 480p H.264,使用自适应去隔行,并使用 Step Functions 任务令牌,使状态机等待作业而非轮询。

镜头检测 – Amazon Rekognition 执行异步片段检测,并通过 Amazon Simple Notification Service(Amazon SNS)回调。第二个 Lambda 函数将原始镜头合并和拆分为约 10-20 秒的内容感知范围。这些范围是管道其余部分展开的单元。在范围内,Social Department 以固定间隔分割嵌入,这是针对 episodic television 节奏调整的设计选择。索引片段是短且固定长度的,但它所在的范围遵循剪辑点。

嵌入 – 范围在 Step Functions 分布式映射中处理。每次调用通过异步调用将开始和结束时间传递给 Amazon Bedrock 上的 TwelveLabs Marengo 3.0。该调用产生跨视觉、音频和转录维度的多模态嵌入,此路径无需拆分文件。

场景描述 – Amazon Bedrock 上的 TwelveLabs Pegasus 1.2 在并行分布式映射中按片段运行,产生场景级叙事描述、情感、主题、对话类型和叙事位置,这些构成排名模型后续推理的文本层。Pegasus 接受预切割文件而非时间范围,因此单独的 Lambda 函数先切割每个范围,两侧留几秒填充以保留场景过渡。

转录和丰富 – 与嵌入并行,管道运行语音转文本并自动回退,以及 Amazon Rekognition 用于屏幕文本、视觉标签和用于角色定位的人脸集合。Amazon Bedrock 上的 Anthropic Claude 模型提取剧集角色图谱,并生成剧集级概念和角色角色。

索引 – Amazon Bedrock 将嵌入输出写入 Amazon S3。最后的分布式映射将嵌入、转录、屏幕文本、场景描述字段和标签索引到 Amazon OpenSearch Serverless。

管道端到端事件驱动。每个 Lambda 任务以指数退避重试。场景描述阶段增加了带全抖动的专用限流重试。非关键丰富步骤优雅降级而非使运行失败,硬失败路由到错误处理器,记录原因并将资产报告为失败。

Marengo 的同区域暂存。Marengo 在特定 AWS 区域可用。Amazon Bedrock 中的异步调用从与端点同区域的 Amazon S3 桶读取输入并写入输出。管道围绕这些参数构建。它在调用 Marengo 前将每个视频暂存到美国东部(弗吉尼亚北部)的专用桶,然后从同一桶读回嵌入输出。其余基础设施留在其主区域,而每个嵌入作业与模型一起运行。有关按区域的模型可用性,请参阅 Amazon Bedrock 中按 AWS 区域的模型支持。

趋势获取

该管道独立于任何内容库持续运行,是趋势对齐成为可能的关键。

两条通道,一个馈送 – 趋势数据通过两条故意采用不同机制的通道获取。每日通道使用 Amazon EventBridge cron,每个区域每天一次计划获取,时间安排在每个区域的本地早晨而非固定 UTC 小时。热度通道(Heat Seeker)读取早期、按动量排序的趋势,仅在用户明确请求时获取,如果已存储的数据足够新则重用。这种拆分是成本决策。cron 在每个 tick 为每个区域付费,无论是否有人工作,而 TTL 后的需求形获取在安静日子不产生费用。

区域馈送是独立群体 – 趋势按地理区域获取,目前有四个馈送:全球、美国、英国和澳大利亚。区域不是对全球列表的过滤器。每个区域按自己的时间表单独发现,因此同一天的趋势在不同区域确实不同。

解释和编辑门 – 原始趋势数据不会展示给客户。Amazon Bedrock 上的 Anthropic Claude Haiku 将每个趋势规范化到 Social Department 自己的类别模式

展开要点与分析

文章情报

投资人进阶

要点

  • QuickSearch 提供四种操作:可分享场景、可引用台词、可表情包时刻和趋势对齐。
  • 内容理解管道和趋势获取管道独立运行,在请求时结合。
  • 使用 TwelveLabs Marengo 3.0 和 Pegasus 1.2 模型在 Amazon Bedrock 上进行场景级视频推理。
  • 数据保留在 AWS 数据边界内,不用于训练模型,并有人工审核环节。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。