Show HN：智能体数据工程
本文介绍了智能体数据工程的概念，即利用自主AI智能体从自然语言意图设计、构建和维护数据管道，与传统的自动化、AI副驾驶及人工数据工程的区别，以及如何通过“缰绳”层（包含验证、语义模型、CI/CD等）确保智能体的安全性和可靠性。文章还讨论了信任问题、治理控制、对数据工程师角色的影响以及未来发展方向。
智能体数据工程（Agentic Data Engineering）是2026年数据领域的一个新兴实践。它利用自主AI智能体，根据自然语言意图设计、构建和维护数据管道，将工程师从逐行编写SQL转化步骤中解放出来，仅在最后环节进行人工审核批准。与传统的数据工程不同，智能体数据工程的核心在于“智能体”——它能够自主感知数据状态、推理下一步行动、执行操作、读取结果并循环迭代，直到达成目标。
智能体与静态自动化（如cron任务或Airflow DAGs）有本质区别：静态自动化执行预先编写的固定序列，而智能体则根据环境动态调整。与AI副驾驶（如编辑器中的自动补全）也不同：副驾驶在人类控制下提供下一行建议，而智能体自主规划步骤。此外，智能体数据工程区别于智能体分析（Agentic Analytics）：后者在已存在数据层进行查询和BI工作，而智能体数据工程则构建和维护产生数据的管道和模型。
在实践中，智能体数据工程的工作流程通常包括四个阶段：数据摄取（从应用、CRM等来源加载原始数据）、转换（编写dbt模型将原始表转化为业务就绪表）、语义层（编码业务定义如“活跃用户”）、以及服务（通过仪表盘或MCP协议供查询）。用户在描述所需指标后，智能体自动探索数据仓库、编写模型并运行测试。
文章强调，模型的真正瓶颈并非其自身能力，而是“缰绳”（harness）——围绕模型构建的软件层，用于确保输出安全可靠。缰绳包括数据血缘、业务语义、访问策略、验证循环、数据契约、CI/CD和审计追踪。通用智能体在数据任务上准确率较低，而通过缰绳约束后，text-to-SQL准确率可从51%提升至90%以上。
信任问题是智能体数据工程的最大挑战。营销材料通常回避如何让智能体安全地接触生产数据。解决方案并非依赖信任，而是通过工作流程控制：变更以拉取请求形式提交，智能体从不直接写入生产；权限按任务作用域和时限分配；所有操作均记录审计日志。这些技术控制确保错误在审查阶段被捕获，而非在午夜的生产事故中。
智能体数据工程不会取代数据工程师，而是改变其工作性质。重复性建设任务（如样板模型、测试支架、文档编写）由智能体承担，而人类则聚焦于定义意图、审核智能体的成果、以及维护语义层和治理体系。未来的稀缺技能将是判断“正确”是什么的能力，而非编写SQL的速度。
当前市场上，工具如RevOS等正致力于构建这一缰绳层，通过集成数据摄取、dbt转换、Cube.dev语义层、Git版本控制和BigQuery仓库，让智能体从一开始就拥有模式定义和业务上下文。智能体完成后，验证循环自动运行，变更通过CI/CD管道以PR形式提交，人类审核后合并。
智能体数据工程的未来方向包括：提高多步骤推理能力、增强跨系统协作（如通过MCP协议）、以及降低使用门槛。但要实现大规模应用，核心仍在于构建可信的缰绳层。