Databricks如何将视频转化为可搜索、可操作的情报
Databricks提出了一种将视频视为数据工程问题的创新方法，利用视觉语言模型（VLM）、无服务器GPU和Lakeflow管道，实现对大量视频的自动分析、摘要和搜索。该方案模型无关、可扩展，适用于公共安全、基础设施检查等多个场景。
在当今数据驱动的世界中，视频数据正以惊人的速度增长。一家公用事业公司使用无人机检查数百英里的电力线路；警察局调取数小时的交通摄像头视频调查肇事逃逸事故；城市规划团队利用摄像头分析行人及交通流量。然而，这些海量视频数据中，绝大多数并未得到有意义的分析，因为人工筛选非结构化视频数据既耗时又昂贵。
Databricks提出了一种颠覆性的解决方案：将视频视为数据工程问题。借助视觉语言模型（VLM）、无服务器GPU计算（Serverless GPU Compute, SGC）和Lakeflow管道，Databricks能够将原始视频转化为可搜索、AI就绪的情报，且无需复杂的机器学习工作流。
传统的视频分析方法依赖于不断增加人工分析师，而深度学习、计算机视觉尤其是VLM的进步，使计算机能够高精度识别视频中的物体。然而，大规模推理和编排包含大量非结构化数据的管道对组织而言仍具挑战。VLM虽灵活、无需预训练，但体积大、速度慢，带来扩展难题。Databricks的解决方案让用户专注于数据管道，而非模型推理和基础设施的复杂性。
具体流程如下：用户上传或指向Databricks Volume中的视频，输入自然语言提示（如“白色箱式卡车”、“安保人员”或“太阳能板”），点击一次即可启动处理管道。随后，Databricks无服务器GPU计算接手，Lakeflow作业触发，预热的GPU立即通过Meta的SAM3分割模型处理视频。模型在每一帧中识别与提示匹配的目标，将视频截取至仅包含相关时段的片段（例如，一段26分钟的交通摄像头视频被缩减为1分55秒），并保留原始时间戳以便回溯。每个截取片段随后通过Databricks基础模型API（FMAPI）传递给基础模型，生成AI摘要，文本数据可写入表或流向其他下游流程。
管道设计为模型无关，利用MLflow让用户选择或定制模型。无论是从Hugging Face下载的模型还是自训练的模型，均可集成。SAM3可替换为YOLO、其他基于Transformer的视觉模型或特定领域微调模型。同样，摘要和异常检测层也支持多种模型，使管道灵活可扩展。无服务器GPU计算预先配置了流行的NVIDIA GPU和深度学习框架，用户只需编写数据工程代码，无需担心GPU容量或CUDA兼容性问题。
管道不仅限于应用触发的工作流，还可作为文件或事件驱动流程运行：视频进入Databricks Volume后自动触发Lakeflow作业，生成截取输出和基于文本的分析，无需人工干预。下游文本可触发警报、路由至审查人员或输入其他AI处理。并发处理通过简单配置实现，20个视频可同时启动20个独立作业，每个作业独立获取无服务器GPU资源，水平扩展，完成后释放，无需集群管理，且不为闲置GPU付费。
这一视频智能管道的应用场景广泛，包括基础设施检查、物理安全、公共安全、机场运营等。相关应用和管道代码已在GitHub上公开，团队可部署、扩展或适配至自身用例。Databricks通过端到端的视频智能管道，实现视频的摄入、处理和分析，在几分钟内提供可搜索的洞察。