跳到主要内容
AI News HubLIVE
更多
站内改写1 分钟阅读

TinyFlow:突破边缘光流网络的形变瓶颈

文章摘要

TinyFlow 是一种仅 126 万参数、无需形变操作的光流网络,通过固定窗口相关替代流依赖的形变,使整个网络可编译为单一静态 INT8 图,在边缘设备上实现高精度光流估计。

来源arXiv Robotics作者: Xiao'ao Song, Chahat Deep Singh
TinyFlow:突破边缘光流网络的形变瓶颈
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

高性能光流网络在资源受限的边缘加速器上部署面临显著困难,主要原因在于其迭代细化过程需要根据当前光流对特征进行形变(warp),这引入了流依赖的重采样和数据依赖的内存访问模式,难以高效编译和量化。针对这一瓶颈,Xiao'ao Song 和 Chahat Deep Singh 提出了 TinyFlow,一种仅包含 126 万参数的无形变光流网络,该论文于 2026 年 10 月 23 日提交至 arXiv(编号 2610.33338),属于机器人学(cs.RO)与计算机视觉(cs.CV)交叉领域。

TinyFlow 的核心创新是用固定窗口相关(fixed-window correlation)替代传统的形变操作。具体而言,网络在恒定偏移量上计算相关性,而不是根据当前光流估计动态采样特征。这样既保留了迭代的由粗到细细化机制,又彻底消除了形变带来的数据依赖内存访问。得益于此,整个网络可以编译为单一的静态 INT8 计算图,极大简化了在边缘硬件上的部署流程。

为了弥补从 Float32 到 INT8 的精度损失,作者采用了三项技术:量化感知微调、形变教师蒸馏以及模型汤(model souping)。这些方法共同将量化后的端点误差(EPE)惩罚控制在 MPI-Sintel 数据集上低于 0.2。实验结果表明,TinyFlow 在 Sintel Clean、Sintel Final 和 FlyingChairs 三个基准上,无论 Float32 还是 INT8 精度,均优于 EdgeFlowNet 和 NanoFlowNet。同时,TinyFlow 的参数数量比 EdgeFlowNet 少 54%。其 INT8 模型在 Sintel Clean 和 Final 上分别达到 6.29 和 7.13 的 EPE。

除了光流基准测试,作者还将该 INT8 模型应用于纯光流的单目视觉里程计任务,在 TartanAir 和 UZH-FPV 数据集上进行评估。在总共 11 个序列中,该模型在 7 个序列上取得了最低的轨迹误差,展示了其在真实边缘机器人应用中的潜力。论文共 9 页,包含 5 幅图和 4 张表,提供了完整的实验细节和对比分析。

展开要点与分析

文章情报

工程师进阶

要点

  • 用固定窗口相关替代形变操作,消除数据依赖的内存访问,便于边缘部署
  • 量化感知微调、形变教师蒸馏和模型汤将 INT8 量化损失降至 0.2 EPE 以下
  • 在 Sintel 和 FlyingChairs 上优于 EdgeFlowNet 和 NanoFlowNet,参数少 54%
  • INT8 模型在 TartanAir 和 UZH-FPV 的 11 个序列中 7 个取得最低轨迹误差

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。