跳到主要内容
AI News HubLIVE
站内改写3 分钟阅读

用Lakeflow Connect统一生产力和AI数据

文章摘要

Databricks博客介绍了Lakeflow Connect如何通过原生托管连接器,将Atlassian、微软、谷歌、GitHub以及OpenAI、Anthropic等生产力与AI工具的数据统一摄入Unity Catalog,消除自定义管道,支撑企业知识库、AI代理和AI支出治理。

用Lakeflow Connect统一生产力和AI数据
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

企业最有价值的知识往往沉淀在生产力与协作工具中,但这些数据长期分散在数十个独立应用里,每个数据源都需要定制API集成。Databricks博客指出,Lakeflow Connect通过原生、全托管的连接器解决了这一难题,让数据团队无需构建或维护自定义管道,即可将生产力数据和AI数据统一摄入Unity Catalog。

Lakeflow Connect是Databricks平台上的数据摄入引擎,提供覆盖SaaS应用、数据库和文件源的托管连接器。用户可以通过点击式界面或简单API设置连接器,数据随后以增量方式作为受治理的托管表进入Unity Catalog,无需配置、管理或扩展任何基础设施。连接器按客户需求优先排序,覆盖客户360、运营、财务和生产力等各条业务线。

生产力工具栈通常包括项目跟踪器、维基、文档存储、收件箱和AI工具,每个工具只记录工作方式的一部分。传统上,提取这些数据需要拼凑自定义管道,构建慢且维护痛苦,导致很多高价值用例难以实现,例如基于企业内部知识的AI代理或运营分析可见性。Lakeflow Connect为此提供内置连接器,涵盖协作类(Jira、Monday.com、Smartsheet、Aha!、GitHub)、企业知识类(Confluence、Notion、Glean、SharePoint、Google Drive)、邮件类(Outlook、Gmail)以及AI类(OpenAI、Anthropic)。

实际案例包括丰田金融澳大利亚公司,其使用Jira连接器将数据作为全托管、零维护管道带入Databricks,自动处理API复杂性和模式变更,交付受治理、可分析的Delta表。VaxCare则使用Confluence连接器将内部知识库送入Databricks,为聊天机器人提供可搜索、可操作的数据,并为未来AI解决方案奠定基础。

对于非结构化内容,AI代理需要基于企业集体知识提供即时、有依据的答案,但代理的质量取决于背后的数据,而大部分数据是非结构化的。Lakeflow Connect的连接器可以将文件、页面和消息等非结构化内容作为受治理表落入Unity Catalog。不同来源的落地方式各异:SharePoint连接器将PDF、Word文档、幻灯片和图像等文件作为一行摄入,原始字节存储在content列(BINARY或FILE类型),并附带元数据;结构化文件如Excel和CSV可直接作为Delta表落地。Google Drive连接器类似,将非结构化文件的原始字节作为一行摄入,结构化文件可直接落地为Delta表。Confluence连接器将每个页面和博客文章的内容作为STRUCT类型存入body字段。Outlook连接器将邮件正文存储在full_body_content列(HTML或纯文本),附件以BINARY类型存储在attachments列。Gmail连接器将完整邮件正文作为文本字符串摄入messages表,并摄入附件引用attachmentId。GitHub连接器将仓库文本文件(源代码、Markdown、配置文件)存储在repo_contents表的content列。

无论来源如何,内容都以受治理表的形式落地Unity Catalog,之后可以开始转换以供下游AI使用。文本类内容(如Confluence页面、邮件正文和GitHub源文件)经过简单清理后即可分块和嵌入。而以原始字节到达的文档文件(如SharePoint和Google Drive的文件或Outlook附件)需要先通过Databricks内置的文档智能ai_parse_document转换为文本。最终都能得到可索引用于检索并置于代理之后的文本。

M3 Accounting使用GitHub和SharePoint连接器将工程和产品文档统一到Databricks。其数据与AI副总裁Ross Serven表示,GitHub连接器几分钟内就运行起来,每周节省约一小时,自动将GitHub数据与其他工程运营数据混合,提供可操作的开发者活动全貌;SharePoint连接器指向产品文档库后,内部知识助手在一周内就能从实时更新的内容中提取信息,无需自定义爬虫或文件同步脚本。

随着AI代理和生成式工具在团队中普及,关于模型支出的问题也随之而来:花了多少钱、谁在使用什么、是否合规。Lakeflow Connect为大型基础模型提供商提供连接器。OpenAI连接器摄入使用量、成本、API密钥、项目、用户和审计日志,便于按团队归因AI支出并跟踪采用情况。Anthropic连接器摄入审计日志、组织用户和角色以及claude.ai聊天和消息内容,便于治理工具使用。这使企业能够统一查看AI使用和采用趋势,衡量并报告AI投资回报。

在Atlassian生态方面,Lakeflow Connect覆盖Jira和Confluence。Jira连接器摄入问题、评论、冲刺、看板和自定义字段,便于跟踪交付并构建跨项目仪表板。Confluence连接器摄入页面和博客文章的全文,以及空间、标签和附件,使团队书面知识可搜索、可分析。两者结合可全面了解Atlassian数据,跟踪发布、瓶颈和解决时间,构建AI/BI仪表板,并用Genie以自然语言提问。

DigiCert使用Confluence连接器可靠地支持其内部AI知识助手,无需自定义管道开销,保持知识助手与最新文档同步,特别有利于产品机器人保持准确、最新的知识。Orizon使用Jira连接器将168个项目的超过一百万张工单每日同步到Databricks,成功率达100%,并基于此构建AI/BI仪表板,自动为指导委员会驾驶舱提供数据;Genie让他们用自然语言提问并即时获得答案。

由于每个连接器都将数据作为受治理的Delta表落地Unity Catalog,摄入的生产力和AI数据与企业其他数据处于同一基础之上。用户可以直接在Databricks SQL中查询,用AI/BI Genie以自然语言提问,并用Agent Bricks基于当前公司知识构建代理。治理、血缘和访问控制均来自Unity Catalog,因此无论数据来自哪个团队或工具,访问权限保持一致。TRegs等金融科技平台已在此基础之上构建应用。

展开要点与分析

文章情报

工程师中级

要点

  • Lakeflow Connect提供完全托管的原生连接器,覆盖Jira、Confluence、SharePoint、Google Workspace、GitHub以及OpenAI和Anthropic等AI提供商。
  • 所有数据以受治理的Delta表形式落地Unity Catalog,无需管理基础设施,支持增量摄入。
  • 非结构化内容(文件、页面、邮件)可作为原始字节或文本摄入,并通过ai_parse_document转换为可索引文本。
  • AI提供商连接器带来使用量、成本、审计日志等数据,便于归因AI支出和衡量投资回报。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。