Databricks 宣布推出 Lakehouse//RT，这是一款新型实时数据仓库，专为运营分析、BI 和应用服务以及可观测性工作负载设计。它由名为 Reyden 的突破性新引擎提供支持，旨在高并发下实现毫秒级响应。该产品的核心承诺是：将实时性能直接带到湖仓上，无需将数据复制到单独的 serving 层。
传统上，组织为了满足实时查询需求，会引入专用的服务层（如内存数据库或专门的实时引擎）。虽然读取速度快，但这需要将数据从开放格式（如 Delta 和 Iceberg）复制到专有存储中，导致数据重复、治理脱节和工程负担。Databricks 指出，这种复制会在三个方面付出代价：数据重复（需要维护第二条摄取管道和新的故障模式）、治理（安全策略和业务逻辑无法随数据自动迁移，需要在第二个地方重新定义）以及工程（团队需要维护额外的集群和调试同步问题）。更糟糕的是，当查询变得复杂（如涉及连接或窗口函数）或数据量增大时，专用服务层往往无法胜任。
Lakehouse//RT 旨在解决这些问题。根据预览参与者的反馈，与实时服务层相比，性能提升高达 16 倍，小数据集响应时间低至 10 毫秒，较大数据集上低于 100 毫秒。在标准分析基准测试中，Lakehouse//RT 在每秒 12,000 次查询的负载下仍能保持低于 100 毫秒的延迟。Databricks 强调，真正的考验在于这种速度能否在更多数据、更复杂查询和更高负载下持续保持。
Databricks 从三个维度展示了 Lakehouse//RT 的基准测试结果：
- 负载下：当查询吞吐量从每秒几个增加到数千个时，替代方案通常会出现延迟上升甚至引擎无响应。Lakehouse//RT 则在整个范围内保持平坦，延迟不随吞吐量增加而牺牲。
- 规模扩展：基于 TPCH 基准，在从小的数据集到 1TB 的规模上运行典型业务报告查询（大型表扫描、多表连接和聚合）。Lakehouse//RT 随着数据增长保持低延迟，而测试的三种替代方案中有两种在较大规模下无法运行。
- 最复杂的查询：基于 TPCDS 基准，运行包含深度多表连接、子查询和窗口函数的复杂查询。Lakehouse//RT 即使查询难度增加也能保持低延迟，而一个替代方案的速度慢了 25 倍，且在最大规模下无法完成。
预览客户在实际场景中报告了类似的性能提升。Meta 的企业分析团队表示，典型查询结果在几十毫秒内返回，且数据就在湖上，无需单独系统。SES 是一家空间解决方案公司，其运营仪表板运行在数十亿行实时遥测数据上，要求高并发下毫秒级响应。他们发现 Lakehouse//RT 比之前的查询时间快 20 倍，成本仅为原来的一小部分，因为他们不再需要运营单独的服务层。Enverus 是一家能源行业 AI 和数据平台，拥有 2.7 PB 数据，其查询返回时间在几十毫秒内，某些查询比其专用实时引擎快 100 倍。
除了性能，Lakehouse//RT 还简化了架构。团队不再需要复制和移动数据或构建额外管道，而是依赖单一敏捷平台。Magnite 是一家广告技术公司，其平台每秒处理数百个查询，用于实时性能数据。他们看到核心仪表板查询的响应时间始终低于 200 毫秒，并且直接在受治理的湖仓数据上实现，这大大简化了管道和服务架构。Cisco 的威胁查找工作负载需要持续低延迟，他们看到响应时间提升了 5 倍，为在湖仓上运行这些工作负载而非维护单独服务系统开辟了道路。Halcyon AI 的安全团队监控数百万端点，其关键查询现在运行速度提高了约 4 倍，直接在湖仓上运行，无需单独的缓存系统。
治理方面，Lakehouse//RT 保持集中化。安全策略、权限、访问控制和业务逻辑通过 Unity Catalog 统一定义和执行。团队无需重复规则或追逐断裂的治理。PointClickCare 是一家医疗保健技术公司，其数据显示 Lakehouse//RT 在医疗数据集上的平均运行速度比之前仓库快三分之一以上，某些工作负载查询速度提高 10 倍。他们曾考虑使用专用实时系统来增强湖仓架构，但 Lakehouse//RT 消除了这一需求，原生提供速度并保持一致的治理。
Bally's 是一家全球游戏和彩票技术集团，每天在 Unity Catalog 下的 Delta Lake 中处理约 60TB 的数百万笔交易。其运营团队需要秒级响应，而 Lakehouse//RT 有望满足这一需求。
总的来说，Lakehouse//RT 通过将实时性能与中央数据平台统一，消除了架构权衡，带来三个核心优势：实时答案、简化架构和一致治理。对于需要最快、最新洞察的行业，Lakehouse//RT 可以显著降低洞察时间，无论并发查询数量多少。