CosFly: 在矩阵中规划，在世界中飞行
CosFly 是一个面向空中跟踪的盒状结构规划与多模态仿真管线，并附带 CosFly-Track 大型无人机数据集，覆盖城市、高速公路、乡村、森林和沿海等多种环境。该管线基于 CARLA 实现，通过7步模块化流程将复杂3D世界转化为结构化障碍物表示，再投影回多模态传感器数据（RGB图像、深度图、语义分割图）及自然语言导航指令。支持可配置固定视场角变焦，分析了两类轨迹规划范式：传统两阶段流水线和直接梯度优化方法。数据集包含250条验证轨迹和约10万张渲染图像及完整六自由度无人机位姿标注。
近日，一项名为 CosFly 的研究成果在学术界引发广泛关注。该研究由 Hanxuan Chen 等11位作者共同完成，于2026年5月18日提交至 arXiv 预印本平台，论文编号为 2605.19120，归属于机器人学（cs.RO）领域。CosFly 提出了一种面向空中动态目标跟踪的盒状结构规划与多模态仿真管线，并同步发布了 CosFly-Track 数据集，为无人机导航和空地协同感知研究提供了可扩展的基础设施。
CosFly 管线的核心在于将复杂的三维环境转化为结构化的障碍物表示，从而支持高效的轨迹规划。基于 CARLA 仿真器，CosFly 实现了模块化的七步构建流程，涵盖三维地图导出、网格简化、行人与无人机轨迹规划、多模态渲染（含六自由度位姿标注）、质量检测以及师生字幕生成。这一流程能够输出 RGB 图像、高精度深度图和语义分割掩码，并附有自然语言导航指令，实现了从虚拟环境到传感器数据的完整映射。每条轨迹对应一个固定的视场角（FOV）设置，通过相机内参调整可模拟不同焦距，这一设计使得研究者能够评估不同视角下的跟踪性能。
在轨迹规划方面，论文对比了两种范式：传统的两阶段流水线，包含前端候选轨迹生成和后端优化；以及直接的梯度优化方法，将多个跟踪约束整合到单一目标函数中。前者在生成候选轨迹后通过后处理精化，后者则利用梯度信息直接优化一个综合目标，两者各有优劣，为后续研究提供了选择依据。
与管线同步发布的 CosFly-Track 数据集包含250条经过验证的无人机轨迹和约10万张渲染图像，所有图像均带有完整的六自由度位姿信息（位置 x、y、z 和姿态偏航、俯仰、滚转）。数据集覆盖了城市中心、高速公路、乡村、森林和沿海小镇等多种场景，为动态目标跟踪、多模态感知等任务提供了丰富的训练和测试资源。论文还指出，该数据集是大规模公开的无人机跟踪数据集，旨在降低该领域的研究门槛。
CosFly 的发布标志着空中-地面协同研究迈出了坚实的一步。其模块化设计使得研究者可以轻松替换或扩展管线中的任何组件，而数据集的公开则促进了可重复性研究。未来，该工作有望在无人机自主导航、搜索救援、环境监测等领域发挥重要作用。