本地影片摘要管道：使用SmolVLM2-2.2B處理幀
SmolVLM2-2.2B在能力和規模之間取得了實用平衡，可在單個消費級GPU上執行，並生成真正有用的影片摘要。本文構建了一個本地管道，提取幀、用SmolVLM2分析並輸出結構化JSON摘要。
大多數影片理解工具要麼依賴雲API（上傳影片並按分鐘計費），要麼需要大型GPU叢集（如70B+模型需要多個A100）。這兩種方案都不適合希望在自有工作站上處理一整天會議記錄、講座系列或監控錄影的開發者。
Hugging Face於2025年2月20日釋出的SmolVLM2-2.2B-Instruct改變了這一局面。它僅需5.2 GB的GPU視訊記憶體，可在RTX 3060、MacBook Pro M2以及免費的Google Colab T4上執行。在影片理解基準Video-MME上，它超越了所有現有的2B規模模型。這種消費級硬體與可靠結果的組合正是本文的核心。
本文構建的本地管道：接受任何影片檔案，以可配置間隔提取幀，使用SmolVLM2-2.2B分批分析，並輸出結構化JSON摘要，包括逐幀場景描述、關鍵時刻（帶時間戳）、行動項以及最終敘述。同一管道無需修改程式碼即可處理會議記錄、講座和監控錄影。
SmolVLM2之所以能在RTX 3060上執行並超越更大模型，關鍵在於其影像令牌化設計。大多數視覺語言模型以高密度對影像進行令牌化，例如Qwen2-VL每張影像使用多達16,000個令牌。而SmolVLM2採用畫素洗牌策略，將每個384x384的影像補丁壓縮為81個令牌。50幀僅產生約4,050個影像令牌，可在單次推理中處理。這使其預填充吞吐量比Qwen2-VL-2B快3.3至4.5倍，生成吞吐量快7.5至16倍。
模型有256M、500M和2.2B三種規模。2.2B是本文管道的正確選擇，它是唯一在影片基準上表現足夠強的版本：Video-MME 52.1、MLVU 55.2、MVBench 46.27。
SmolVLM2沒有原生影片編碼器，它將影片視為影像序列。官方參考管道最多均勻取樣50幀，將其作為多影像序列傳入單個聊天訊息。該方法在CinePile上得分為27.14%，介於InternVL2 (2B)和Video-LLaVA (7B)之間，考慮到模型規模且影片並非其唯一訓練目標，這一結果相當強勁。
環境設定： 硬體最低要求包括6 GB VRAM（RTX 3060）或Apple Silicon M2 8 GB，推薦12-16 GB VRAM（RTX 4080）或16 GB系統RAM。軟體方面需Python 3.10+，並從Hugging Face的v4.49.0-SmolVLM-2分支安裝transformers，另需torch、opencv-python、Pillow、numpy、num2words、accelerate等包。注意：num2words是必要依賴，缺少會導致處理器匯入時靜默錯誤。
管道基礎：幀提取器將影片轉換為PIL影像列表並附加時間戳。均勻取樣均勻分佈幀覆蓋率，適合會議和講座；關鍵幀取樣僅在視覺內容顯著變化時提取，適合監控和亮點提取。文章提供了FrameExtractor類的完整程式碼，包含uniform_sample和keyframe_sample方法。
載入SmolVLM2並進行單幀推理：使用AutoModelForImageTextToText類，並啟用Flash Attention 2（CUDA下）以獲得加速。描述了load_model和describe_frame函式，其中聊天模板要求影像內容位於文本內容之前，以匹配訓練資料格式。