本地视频摘要管道：使用SmolVLM2-2.2B处理帧
SmolVLM2-2.2B在能力和规模之间取得了实用平衡，可在单个消费级GPU上运行，并生成真正有用的视频摘要。本文构建了一个本地管道，提取帧、用SmolVLM2分析并输出结构化JSON摘要。
大多数视频理解工具要么依赖云API（上传视频并按分钟计费），要么需要大型GPU集群（如70B+模型需要多个A100）。这两种方案都不适合希望在自有工作站上处理一整天会议记录、讲座系列或监控录像的开发者。
Hugging Face于2025年2月20日发布的SmolVLM2-2.2B-Instruct改变了这一局面。它仅需5.2 GB的GPU显存，可在RTX 3060、MacBook Pro M2以及免费的Google Colab T4上运行。在视频理解基准Video-MME上，它超越了所有现有的2B规模模型。这种消费级硬件与可靠结果的组合正是本文的核心。
本文构建的本地管道：接受任何视频文件，以可配置间隔提取帧，使用SmolVLM2-2.2B分批分析，并输出结构化JSON摘要，包括逐帧场景描述、关键时刻（带时间戳）、行动项以及最终叙述。同一管道无需修改代码即可处理会议记录、讲座和监控录像。
SmolVLM2之所以能在RTX 3060上运行并超越更大模型，关键在于其图像令牌化设计。大多数视觉语言模型以高密度对图像进行令牌化，例如Qwen2-VL每张图像使用多达16,000个令牌。而SmolVLM2采用像素洗牌策略，将每个384x384的图像补丁压缩为81个令牌。50帧仅产生约4,050个图像令牌，可在单次推理中处理。这使其预填充吞吐量比Qwen2-VL-2B快3.3至4.5倍，生成吞吐量快7.5至16倍。
模型有256M、500M和2.2B三种规模。2.2B是本文管道的正确选择，它是唯一在视频基准上表现足够强的版本：Video-MME 52.1、MLVU 55.2、MVBench 46.27。
SmolVLM2没有原生视频编码器，它将视频视为图像序列。官方参考管道最多均匀采样50帧，将其作为多图像序列传入单个聊天消息。该方法在CinePile上得分为27.14%，介于InternVL2 (2B)和Video-LLaVA (7B)之间，考虑到模型规模且视频并非其唯一训练目标，这一结果相当强劲。
环境设置： 硬件最低要求包括6 GB VRAM（RTX 3060）或Apple Silicon M2 8 GB，推荐12-16 GB VRAM（RTX 4080）或16 GB系统RAM。软件方面需Python 3.10+，并从Hugging Face的v4.49.0-SmolVLM-2分支安装transformers，另需torch、opencv-python、Pillow、numpy、num2words、accelerate等包。注意：num2words是必要依赖，缺少会导致处理器导入时静默错误。
管道基础：帧提取器将视频转换为PIL图像列表并附加时间戳。均匀采样均匀分布帧覆盖率，适合会议和讲座；关键帧采样仅在视觉内容显著变化时提取，适合监控和亮点提取。文章提供了FrameExtractor类的完整代码，包含uniform_sample和keyframe_sample方法。
加载SmolVLM2并进行单帧推理：使用AutoModelForImageTextToText类，并启用Flash Attention 2（CUDA下）以获得加速。描述了load_model和describe_frame函数，其中聊天模板要求图像内容位于文本内容之前，以匹配训练数据格式。