字節跳動研究發現：用提問訓練多模態模型比要求其轉錄文本更有效

字節跳動Seed與香港科技大學的研究表明，通過問答對訓練多模態模型處理長文檔，比使用字符識別任務效果更好。他們開發的MMProLong模型基於Qwen2.5-VL，在長達512,000 token的輸入上保持穩定，性能超越InternVL3-38B等更大模型。研究還發現，訓練數據長度多樣性比專注超長文本更重要，且短示例並非必須。