V-JEPA 2.1的密集特征在哪里有效（以及在哪里无效）

V-JEPA 2.1的密集特征在哪里有效（以及在哪里无效）

2026年5月6日

一项预注册的鲁棒性研究，覆盖所有四个V-JEPA 2.1模型尺寸，并提供了部署经验教训。

概要

我们对Meta于2026年3月发布的V-JEPA 2.1进行了预注册鲁棒性研究，并测试了所有四个已发布的模型尺寸（参数从8000万到20亿）。从322个实验单元的扫描中，三个发现尤为突出：

**V-JEPA 2.1的密集特征被分区。** 在时间扰动（帧丢失、遮挡，r = 0.35–0.37）下，这些特征能预测下游任务失败，但在图像噪声扰动（高斯噪声、运动模糊、低光）下，相关性统计上无法与零区分。在一个轴上的参数鲁棒性不能迁移到另一个轴。

**更大的模型并不一定更可靠。** 在每一个一级扰动测试中，四个模型尺寸的鲁棒性均呈现非单调性。参数量20亿的“巨型”模型在五种扰动中的三种实际上比10亿的“巨大”模型更不鲁棒。

**V-JEPA 2.1对方向高度敏感。** 简单的水平翻转（保留了所有时间结构）对特征表示的破坏程度与倒序播放视频相当。

这项研究为什么在实践中重要

这不是一项学术练习。Poisson Labs正在将V-JEPA系列模型集成到两个生产机器人工作负载中的感知骨干：

• **工业电缆插入**：在杂乱环境中进行亚毫米级工业电缆插入的操作策略。视觉条件在光照、机械臂自遮挡以及网络约束下的帧率变化方面差异巨大。
• **无人机基础设施检查**：用于塔架和管道检查的自主飞行感知，其中相机在机动过程中保持恒定滚动，运动模糊是常发因素，低光操作也很常见。

JEPA作为世界模型骨干的吸引力

V-JEPA 2.1被定位为一种“世界模型”，即一个对物理世界运作方式有内部表示的系统。与消耗大量计算资源重建高熵像素的生成模型不同，JEPA架构仅在压缩的潜在空间中进行预测。这为机器人学提供了两个好处：

• **关注动作而非外观**。生成像素预测问“这看起来像什么？”，JEPA潜在预测问“这里发生了什么？”。通过忽略无关的视觉噪声（如微妙的光照变化），骨干可以专注于场景的底层物理和因果结构。
• **安全的心理模拟**。世界模型让机器人模拟“想象”的未来，在真正移动之前测试如果以特定角度抓取物体会发生什么。系统从成千上万的想象错误中学习，而无需冒实际硬件风险。

在干净的基准测试（如Something-Something-V2）上达到SOTA准确率是必要的基线，但它无法告诉我们模型的失效面。对于工厂中的机器人或风中的无人机来说，相关的问题是：

• **优雅退化还是灾难性退化**？线性退化的特征能否通过下游训练恢复，还是存在一个使系统变得脆弱的急剧断崖？
• **架构叙事与现实**。V-JEPA 2.1被定位为时间一致性的视频模型。如果特征在时间扰动下比图像噪声更容易受影响，基于“时间”叙事的工程决策将会出错。
• **规模化的捷径**。转向20亿模型是否可靠地带来了可部署性？如果规模化是非单调的，模型选择必须基于经验并按应用而定。

这项研究为V-JEPA 2.1系列回答了这些问题。

方法论

V-JEPA 2.1通过密集预测损失、深层自监督和模态特定分词器引入了密集特征。编码器将视频处理为16帧的片段，并将连续的帧对组合成单个时间令牌。架构称之为管元大小为2。因此，一个16帧的片段变成8个时间位置，每个位置携带少量跨帧平均信息。这对于后来理解为什么图像噪声比帧丢失影响更大至关重要。

我们评估了所有四个已发布的尺寸：ViT基础（8000万）、ViT大型（3亿）、ViT巨大（10亿）和ViT巨型（20亿）。

设置

我们在200个SSv2验证片段上运行了9种受控扰动，每种有10个强度级别（s ∈ [0.1, 1.0]），以构建核心鲁棒性曲线。然后，我们在30个DAVIS片段上测量了功能跟踪退化（五种扰动×五种强度×四个模型），以将表示漂移落地到真实世界任务中。

度量层次

对于每个片段，编码器在每个时间位置产生一个网格的补丁级特征向量。三个度量衡量干净片段与其扰动版本之间这些特征可能漂移的不同方式。

• **M1（帧保真度）**：干净与扰动中匹配补丁之间的平均余弦距离（相同时间和位置）。通俗地说：“每个单独补丁的表示移动了多少？”低值表示编码器在该位置产生几乎相同的特征；高值表示补丁被重新解释。
• **M2（时间一致性）**：时间梯度向量（每补丁差异特征(t+1) - 特征(t)）之间的余弦距离。我们比较干净与扰动的梯度向量并取平均。通俗地说：“模型在每个位置的运动感漂移了多少？”这是对V-JEPA核心架构主张（时间一致性）的主要探测，因为它隔离了帧间变化与绝对帧内容。
• **M3（功能效用）**：DAVIS上的补丁对应。我们使用模型的特征作为匹配信号，跨帧跟踪地面真相的目标区域。通俗地说：“如果你尝试实际使用这些特征来跟踪扰动片段中的物体，跟踪效果会有多差？”这是三个度量中唯一衡量下游任务而非内部特征稳定性的。

我们在启动前预注册了六个假设，并附有明确的数值决策规则。这排除了事后度量调优。

关于样本量和种子

每个实验单元200个SSv2片段处于视频基准测试的标准范围内（MVBench、CVRR-ES每个任务使用200–240个实例），并且对于观察到的效应量来说是舒适的。所有200个实验单元的每单元M2均值的Bootstrap 95%置信区间一致较小（中位数±0.015，最大值±0.025）。下面规模化故事中最小跨模型跃迁（遮挡，+0.017）是其置信区间半宽的5.7倍，远高于区分信号与噪声的2倍阈值。

我们每个单元使用单一随机种子，这遵循ImageNet-C先例（Hendrycks & Dietterich, 2019），以便进行苹果对苹果的跨模型比较。对于每个单元200个片段，片段间方差主导单元内扰动实现方差。多种子运行会收紧误差线，但鉴于观察到的效应大小，不会翻转六个假设中的任何一个判断。

校准：度量按预期工作

为了验证M2度量，我们推导了其在反转播放输入下的行为的分析预测：如果翻转片段使最后一帧首先播放，则时间梯度向量应反转方向，并且（在梯度并非跨帧病态对齐的通用假设下）干净正向与扰动反向梯度之间的余弦距离应接近特定值。对于16帧输入且管元大小为2，该值约为1.14。

在30个DAVIS片段上使用ViT基础模型的校准产生了均值M2 = 1.020（标准差0.036）。在整个SSv2扫描中，所有四个模型的均值紧密聚集在1.034到1.037之间。这两个数字都在预测的[0.9, 1.4]范围内。DAVIS校准（n = 30）和SSv2反转单元（n = 200/模型）的置信区间不重叠，但间隙很小，可能反映了DAVIS更小、手工策划的片段分布。度量测量了数学上应有的量。

针对预注册预测的校准探针：恒等往返处于数值噪声水平（最大|M2| = 9.8e-9）。反向播放在所有四个模型上位于1.034–1.037，处于预测的[0.9, 1.4]范围内，比分析中心值1.14低约10%。水平翻转反驳了预测的上限0.30，在所有模型上注册为0.91（见发现3）。

发现1：V-JEPA 2.1的密集特征被分区

最大的发现：M2（表示稳定性）仅对特定扰动类别预测下游任务失败（M3）。

| 扰动 | r(ΔM3, M2) | 95% CI | 解释 | |------|------------|--------|------| | 帧丢失 | +0.370 | [+0.299, +0.437] | M2预测任务失败 | | 遮挡 | +0.350 | [+0.278, +0.418] | M2预测任务失败 | | 运动模糊 | +0.093 | [+0.013, +0.171] | 与零无法区分 | | 低光 | +0.049 | [−0.031, +0.128] | 与零无法区分 | | 高斯噪声 | −0.055 | [−0.135, +0.025] | 与零无法区分 |

时间轴扰动与图像噪声扰动的置信区间不重叠。最接近的差距是遮挡的下限（+0.278）与运动模糊的上限（+0.171），相差+0.106。两个扰动族在95%置信水平上统计上可分离。聚合r = 0.161（95% CI [0.126, 0.195]）可与零区分，但远低于预注册的模糊阈值0.30和确认阈值0.50。

V-JEPA 2.1的特征似乎有两个半独立轴：一个对噪声敏感但不承担跟踪任务的图像内容轴，以及一个DAVIS风格对应所依赖的时间结构轴。

**部署影响**。对于Cable Mind，自遮挡和可变帧率是主要压力，M2是可靠的健康检查。对于Drone Inspection，运动模糊和传感器噪声占主导，特征级稳定性指标将具有误导性；必须使用任务导向评估替代。

发现2：更大的模型并不一定更可靠

与单调规模化假设相反，鲁棒性在最大尺度上趋于平稳甚至逆转。在每个一级扰动中，规模化都是非单调的：

• 20亿“巨型”模型在高斯噪声（M2跳跃+0.038）、运动模糊（+0.050）和低光（+0.036）上比10亿“巨大”模型更不鲁棒。
• 10亿“巨大”模型在帧丢失（+0.041）和遮挡（+0.017）上比3亿“大型”模型更不鲁棒。

所有五个跳跃都至少超过其合并置信区间半宽的5倍。没有一个是边缘噪声。

一个机制解释来自最近关于深度ViT中“枢纽边缘化”的工作（arXiv:2511.21635）。简而言之：在Vision Transformer中，特殊的[CLS]令牌应作为全局摘要，所有补丁信息聚合于此。随着模型变深和训练更好，该单一枢纽变得不那么承载；补丁令牌本身开始分发信息，而不是通过一个摘要节点路由一切。这通常是好的，直到模型过深并进入“过度通信”机制，额外的层使信息混乱而非精炼。V-JEPA 2.1的训练目标（密集预测损失）明确通过强制每个补丁令牌保留局部身份来反对单枢纽聚合。如果20亿变体已经进入过度通信机制，而蒸馏后的...（原文截断）