CRAFT: 基於評論者精煉的自適應關鍵幀定位的多模態視頻問答

CRAFT（Critic-Refined Adaptive Key-Frame Targeting）是一項由Mahesh Bhosale等人於2026年5月18日提交至arXiv的研究成果，並被ACL 2026的多模態增強生成研討會接收。該系統針對真實世界新聞事件的多視頻問答任務，要求從異構視頻檔案中檢索與查詢相關的證據，併為每個聲明標註來源。CRAFT採用查詢條件化管道，首先通過動態關鍵幀選擇從每個視頻中提取最相關的幀，然後對每幀進行自動語音識別（ASR），並支持多語言回退以處理非英語內容。接下來，一個混合評論者循環被用來迭代驗證和修復聲明，該循環整合了UNLI時間藴含模型、DeBERTa-v3跨聲明篩選器和Llama-3.2-3B裁決器。最後，通過引用合併階段將每個事實與其所有支持來源標識符一起輸出，確保每個聲明都有多個視頻來源的支撐。在MAGMaR 2026基準測試中，CRAFT取得了最佳總體平均分0.739，參考召回率0.810，引用F1得分0.635，顯著優於現有方法。為了測試泛化能力，研究者還將WikiVideo數據集轉換為MAGMaR格式，並在52個不重疊的事件查詢上評估，CRAFT獲得了平均0.823的高分，證明其以聲明為中心的證據聚合方法具有普適性。消融實驗表明，原子聲明分解、ASR使用和評論者循環是相對於基線的主要性能增益來源。這些組件共同提升了系統在複雜多視頻場景下的檢索和歸因能力。相關代碼和實現細節已在GitHub上公開，供社區復現和改進。