一篇新提交到 arXiv 的论文《Full-Weight VLA Fine-Tuning Without an fp32 Master Copy Silently Erases Most Updates》（作者 Shubham Singh）指出，视觉-语言-动作（VLA）模型在微调过程中存在一个容易被忽视、却影响显著的数值精度问题：当可训练权重以 bfloat16（bf16）存储、且不保留 fp32 主副本时，优化器 AdamW 会把每次更新直接写入 bf16，凡小于权重值 1/512 的更新都会被静默舍入掉，相当于没有生效。
作者对开源生态做了系统排查。在 12 个公开 VLA 代码库中，有 9 个的默认配置或文档给出的训练配方采用了这种不含 fp32 主副本的训练方式，其中 4 个把该方式用于完整的权重矩阵，包括 LeRobot 的 SmolVLA 默认设置以及其 π0 和 π0.5 使用指南。这说明问题并非个别项目的疏漏，而是广泛存在于主流工具链之中。
实验层面，作者在 LIBERO 基准上运行了不带 fp32 副本的微调，并每 100 步对权重更新做一次探测，结果显示至少 79% 写入 bf16 权重的更新被抹除，绝大多数训练信号实际上没有落到模型参数上。这一现象在训练日志和损失曲线上很难被察觉，因此属于“静默”失效。
论文还考察了模型分享平台的现状。在 Hugging Face Hub 上抽样的全权重 SmolVLA 微调模型中，99% 把动作专家以 bf16 形式存储；在近期设置了训练配置的 π0.5 微调中，84% 开启了 bf16 标志。这意味着大量公开可用的微调成果可能都带有同样的精度损失。
为了量化影响，作者预先固定了评估规则，在 LIBERO-Object 任务上比较有无 fp32 主副本的差异。在两者都尚未充分训练、学习率低十倍的设定下，fp32 副本把 SmolVLA 的成功率从 LeRobot 存储方式的 4.3% 提升到 49.3%，把 π0.5 的成功率从 5.1% 提升到 80.9%。在 π0.5 的默认学习率下，成功率也从 89.0% 提升到 97.7%。对于 SmolVLA 的默认学习率，若采用开环的 50 动作块执行，提升约 10.2 个百分点；若每 10 个动作重新规划一次，提升缩小到 4.2 个百分点。
统计上，在包括上述五次比较在内的七组对照（另两组对比的是所有可训练权重均为 bf16 的 SmolVLA）中，每一个保留 fp32 副本的运行都优于对应的无副本运行，显著性水平 p < 0.05。除 8.7 点和 4.2 点两处差距外，其余差距都超过了作者设定的 10 个百分点阈值。
作者给出的修复方案非常简单：训练期间把可训练权重保持在 fp32。对 LeRobot 中的 SmolVLA 而言，这只需改动一行代码。考虑到这一设置对最终策略成功率的影响可达数十个百分点，论文建议 VLA 微调实践者和模型发布者重新审视默认的精度配置，并在发布微调权重时明确说明训练过程中是否保留了 fp32 主副本。