Databricks 宣布推出分析工程师学习路径
Databricks 推出了新的分析工程师学习路径,为 SQL 从业者提供从数据建模到构建语义模型、ETL 管道和 AI 代理的全面课程。该路径包含六门实践课程,涵盖数据建模、ETL 管道、语义模型、对话式代理等技能,旨在帮助构建可靠、可治理的数据基础。课程现已上线 Databricks Academy,提供自定进度和讲师指导两种形式。
Databricks 今日宣布推出全新的分析工程师学习路径,旨在帮助 SQL 从业者构建可靠、可治理的数据基础,以支持分析、仪表板和 AI 代理。该路径是专为那些希望承担更多数据所有权、从原始数据到可信任指标全流程掌控的 SQL 开发人员设计的。
随着数据来源和消费方的增加,数据工程师的工作量已不堪重负。根据《经济学人》企业报告,近三分之二的组织完全依赖数据工程师创建管道,其中近一半的工程师大部分时间仅用于配置和修复数据源连接。因此,分析工程的角色变得愈发重要——那些更接近业务、理解业务问题及指标的专业人士,正越来越多地承担起构建模型、管道和指标的责任。
该学习路径包含六门面向实践的课程,覆盖 Databricks 上完整的 SQL ETL 工具集:
- 分析基础:了解 Databricks 上统一语义、AI/BI 仪表板和 Genie 的工作原理,约一小时的入门课程。
- 数据建模策略:学习设计可在生产环境中稳定运行的数据模型,包括使用 Delta Lake 和 Unity Catalog 定义数据架构、理解数据产品生命周期,以及应用数据集成与共享技术。
- 使用 SQL 构建 ETL 管道:利用物化视图、流式表和 Lakeflow 作业构建生产级 SQL ETL 管道,涵盖增量摄取、转换以及处理缓慢变化维度(SCD Type 1 和 Type 2)等技术。
- 使用 Unity Catalog 指标视图构建语义模型:学习用 SQL 定义和管理业务指标,并将其暴露给仪表板、Genie 空间和 SQL 工作流,同时应用治理、安全及维护实践。
- 使用 Genie 构建可靠的对话式代理:设计、发布并持续改进 Genie 空间,通过配置知识库、编码业务逻辑和管理权限,让业务用户能够信赖自然语言交互。
- 使用 Lakeflow Spark 声明式管道构建管道:通过 Spark 声明式管道编辑器构建端到端 SQL 管道,包括数据质量检查、缓慢变化维度处理,以及通过事件日志和指标分析执行。
所有课程均提供自定进度和讲师指导两种形式,完整路径随任何有效的 Databricks 学习订阅免费提供。分析师工程师学习路径现已登陆 Databricks Academy,立即开始探索吧。