OlmoEarth v1.1:更高效的模型家族
Allen AI 发布了 OlmoEarth v1.1,通过合并不同分辨率的令牌,将计算成本降低高达三倍,同时保持 v1 的性能。新模型适用于大规模遥感分析,合作伙伴已在全球部署。
文章情报
要点
- OlmoEarth v1.1 相比 v1 计算成本降低最多 3 倍,性能相当。
- 通过将不同分辨率的多光谱波段合并为单一令牌,缩短序列长度。
- 针对合并令牌后的性能下降,研究人员修改了预训练方法。
- 提供 Base、Tiny、Nano 三种规模,适用于不同计算预算。
为什么重要
这条新闻值得关注,因为OlmoEarth v1.1 相比 v1 计算成本降低最多 3 倍,性能相当。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
Allen AI 于 2026 年 5 月 19 日发布了 OlmoEarth v1.1,这是其遥感基础模型家族的最新版本。自 2025 年 11 月推出 OlmoEarth v1 以来,合作伙伴已将其应用于从红树林变化追踪到森林损失分类、再到国家尺度作物类型制图等广泛任务,覆盖国家、大陆甚至全球范围。新版本旨在通过提升效率,让更多组织能以更低成本利用这一技术。
效率提升的核心在于降低令牌序列长度。OlmoEarth 基于 Transformer 架构,处理遥感数据时需将其转换为令牌序列。计算成本与序列长度的平方成正比,因此即使微小减少也能显著节省成本。在 v1 版本中,模型对 Sentinel-2 等多光谱影像的每个空间块(patch)按分辨率生成独立令牌——例如,一个包含 2 个时相和 3 种分辨率(10 米、20 米、60 米)的输入,每个块会产生 6 个令牌。v1.1 则将同一块内不同分辨率的令牌合并为一个,使令牌数量减少三分之二。
然而,简单合并会导致性能下降,例如在 m-eurosat kNN 基准测试上准确率降低 10 个百分点。研究人员推测,分离的令牌有助于模型学习波段间的交叉关系。为此,他们调整了预训练策略,在保持性能的同时实现合并。具体改动在技术报告中详述。
OlmoEarth v1.1 家族包含 Base、Tiny 和 Nano 三种规模,用户可根据计算预算选择。在所有规模下,v1.1 的推理速度均达到 v1 的三倍,使频繁的大规模地图更新更加经济。对于现有 v1 用户,建议测试 v1.1 是否适用于其任务——尽管存在一些性能回归(详见技术报告),但通常能获得显著加速。
研究方面,v1.1 与 v1 使用相同训练数据集,因此性能差异完全源于方法论变化,有助于分离架构、数据与预训练算法的影响。模型权重和训练代码已开源,可通过 Hugging Face 和 GitHub 获取。