字節跳動研究發現：用提問訓練多模態模型比要求其轉錄文本更有效

多模態AI模型本應處理越來越長的文檔，但它們的訓練方法通常屬於商業機密。一項新研究表明，將字符識別作為訓練任務實際上會損害性能，而問答對則有效得多。

來自字節跳動Seed和香港科技大學（HKUST）的研究人員探索瞭如何高效訓練圖像語言模型處理長文檔。其成果MMProLong基於阿里巴巴開源的Qwen2.5-VL構建，在多項基準測試中擊敗了更大的競爭對手。

現代多模態AI模型需要處理越來越長的輸入：整個PDF頁面集合、數小時的視頻、或跨步驟記憶任務的智能體。OpenAI、Google、阿里巴巴等AI實驗室宣稱上下文窗口可達100萬token，不僅能容納文本，還能容納數千張頁面圖像或視頻幀。但作者指出，技術報告幾乎沒有透露模型應該看到什麼數據以及如何混合。

研究的關鍵發現是：對於多模態模型學習在100頁文檔中定位正確信息，轉錄每頁文本幾乎無幫助。更有效的方法是提出答案隱藏在那些頁面中的問題。研究人員直接對比了兩種方法：一種讓模型對所有頁面或部分選定頁面進行文本識別，其餘頁面作為干擾；另一種使用單獨的模型（字節跳動的Seed 2.0）為文檔各段落生成問答對，然後將問題連同整個文檔一起訓練，迫使模型在長上下文中定位相關段落。

實驗結果顯示，純文本識別作為訓練任務實際上比起點更差，而問答訓練帶來了明顯提升。模型只有在需要以特定目標篩選和分類信息時，才能學會導航長文本。

此外，研究還有三個發現：首先，主要餵給模型超長文檔並不值得，長短混合更可靠；長上下文能力並非綁定特定長度，而是需要跨不同距離靈活搜索。其次，真正的瓶頸是尋找相關段落而非推理，因此偏向提取任務並混合少量計算任務能獲得最佳結果。第三，令人驚訝的是，訓練中並不需要短的示例：模型即使只接受長問答數據訓練，也能保持短任務能力。數據格式本身可能起了作用：即使上下文很長，任務仍以熟悉的指令遵循格式呈現為問答交互。

憑藉這套方法和適度的訓練預算，MMProLong擊敗了InternVL3-38B和Gemma3-27B等更大的開源模型。該模型僅在128k token上訓練，但在256k和512k輸入長度時仍保持穩定，而原始模型在這些範圍急劇崩潰。這種能力還遷移到模型從未專門訓練的任務上，如理解長視頻。在額外的遷移實驗中，該配方在更強的Qwen3-VL-8B上也有效。

這項研究也值得關注，因為它與DeepSeek在該問題上的廣泛研究來自完全不同的路線：DeepSeek試圖通過將文本作為圖像處理並大幅壓縮來擴展AI模型的長記憶，而字節跳動Seed則採取相反方法——優化訓練數據而非架構。