PRX 第四部分：我们的数据策略

在PRX系列的第四部分中，Photoroom团队揭开了数据管道的面纱。该管道是PRX模型训练的基础，虽然构建过程中并不起眼，但却是确保模型质量的关键环节。

团队的核心策略是：混合使用公开和内部数据集，通过视觉语言模型（VLM）重新生成图像的标题，然后将结果转化为可流式处理的语料库，用于PRX的训练。

指导原则

预训练阶段的目标是构建一个大型、多样化的数据集。此时，模型正在学习视觉世界的结构：视觉概念、物体、场景、构图和光照等。因此，覆盖范围和多样性远比单张图像的完美程度重要。一个广泛且有代表性的语料库能让模型学到更多视觉世界的结构，而过于追求美学过滤反而会限制分布，导致模型丢失概念和构图多样性。美学的打磨留到微调和偏好对齐阶段。

数据来源方面，团队优先选择已进行质量过滤、去重、NSFW内容和个人信息过滤的数据集，以充分利用现有工作。他们采用了务实的方法，并非从零构建，而是借助现有数据集和自有工具快速组装了一个7B模型的预训练起点。

标题哲学

长期经验表明，预训练中使用准确描述图像内容的长标题至关重要。团队在第二部分中看到，从短标题切换为长标题显著提升了样本质量。如果标题准确，偶尔出现的截图、广告、标志或文本都不会成为问题，因为模型会将这些视为可条件控制的属性。准确的标题能将“噪声”转化为可提示或可避免的元素。因此，后续的过滤操作也故意保持轻量。

数据格式

团队使用Mosaic Streaming和MDS格式进行分布式训练，同时采用Lance格式进行特征工程和数据集预处理。MDS格式适合流式训练但结构僵化，而Lance支持谓词下推、标量索引和向量搜索，适合构建和探索数十亿行的数据集。两种格式互补：Lance用于构建，MDS用于流式。

文本潜在向量

此前，团队使用T5Gemma作为文本编码器并预计算文本潜在向量。本次改用Qwen3-VL后，决定在训练时实时计算文本潜在向量。虽然这会带来约3-4%的吞吐量损失（30天训练中多出约1天），但好处是MDS分片更小，足以存储在SSD共享文件系统中，并且未来更换文本编码器时无需重写大量已存储的潜在向量。

图像编码

所有图像均以质量92的JPEG格式存储，而非无损PNG。团队通过实验证明，对于已多次JPEG压缩的真实图像，在质量92下第一次重编码几乎无感知损失。多次循环后，图像仍保持在不可感知范围内，而PNG文件大小是JPEG的3-10倍。此外，对比训练实验显示，使用JPEG和PNG训练的模型输出质量几乎无差异，JPEG生成物检测到量化结构的比例仅略高一点。因此，高质量JPEG存储对大规模文本到图像训练足够。

构建数据集

在Lance中构建数据集时，团队学到了关于碎片化的经验。Lance表由多个片段组成，过多小片段会导致查询缓慢。第一次导入时，每个片段仅10万行，导致数千个小片段，查询速度极慢。通过压缩至每片段约100万行，查询速度显著提升。建议避免过度分片。

重新生成标题与探索

为确保一致性，团队对所有图像重新生成标题，而不是依赖数据集自带的标题。但原有标题和嵌入向量仍用于快速探索数据集。通过全文搜索和向量最近邻搜索，团队可以评估数据质量和过滤需求。此外，他们还建立了分辨率分布，并设定了裁剪阈值。基于Lance的全文搜索和向量搜索，团队构建了一个小型用户界面，用于实时搜索图像和浏览视觉相似图像。

总之，PRX的数据策略强调多样性、准确标题和实用格式选择，为7B模型的成功训练奠定了坚实基础。