企业最有价值的知识往往沉淀在生产力与协作工具中,但这些数据长期分散在数十个独立应用里,每个数据源都需要定制API集成。Databricks博客指出,Lakeflow Connect通过原生、全托管的连接器解决了这一难题,让数据团队无需构建或维护自定义管道,即可将生产力数据和AI数据统一摄入Unity Catalog。
Lakeflow Connect是Databricks平台上的数据摄入引擎,提供覆盖SaaS应用、数据库和文件源的托管连接器。用户可以通过点击式界面或简单API设置连接器,数据随后以增量方式作为受治理的托管表进入Unity Catalog,无需配置、管理或扩展任何基础设施。连接器按客户需求优先排序,覆盖客户360、运营、财务和生产力等各条业务线。
生产力工具栈通常包括项目跟踪器、维基、文档存储、收件箱和AI工具,每个工具只记录工作方式的一部分。传统上,提取这些数据需要拼凑自定义管道,构建慢且维护痛苦,导致很多高价值用例难以实现,例如基于企业内部知识的AI代理或运营分析可见性。Lakeflow Connect为此提供内置连接器,涵盖协作类(Jira、Monday.com、Smartsheet、Aha!、GitHub)、企业知识类(Confluence、Notion、Glean、SharePoint、Google Drive)、邮件类(Outlook、Gmail)以及AI类(OpenAI、Anthropic)。
实际案例包括丰田金融澳大利亚公司,其使用Jira连接器将数据作为全托管、零维护管道带入Databricks,自动处理API复杂性和模式变更,交付受治理、可分析的Delta表。VaxCare则使用Confluence连接器将内部知识库送入Databricks,为聊天机器人提供可搜索、可操作的数据,并为未来AI解决方案奠定基础。
对于非结构化内容,AI代理需要基于企业集体知识提供即时、有依据的答案,但代理的质量取决于背后的数据,而大部分数据是非结构化的。Lakeflow Connect的连接器可以将文件、页面和消息等非结构化内容作为受治理表落入Unity Catalog。不同来源的落地方式各异:SharePoint连接器将PDF、Word文档、幻灯片和图像等文件作为一行摄入,原始字节存储在content列(BINARY或FILE类型),并附带元数据;结构化文件如Excel和CSV可直接作为Delta表落地。Google Drive连接器类似,将非结构化文件的原始字节作为一行摄入,结构化文件可直接落地为Delta表。Confluence连接器将每个页面和博客文章的内容作为STRUCT类型存入body字段。Outlook连接器将邮件正文存储在full_body_content列(HTML或纯文本),附件以BINARY类型存储在attachments列。Gmail连接器将完整邮件正文作为文本字符串摄入messages表,并摄入附件引用attachmentId。GitHub连接器将仓库文本文件(源代码、Markdown、配置文件)存储在repo_contents表的content列。
无论来源如何,内容都以受治理表的形式落地Unity Catalog,之后可以开始转换以供下游AI使用。文本类内容(如Confluence页面、邮件正文和GitHub源文件)经过简单清理后即可分块和嵌入。而以原始字节到达的文档文件(如SharePoint和Google Drive的文件或Outlook附件)需要先通过Databricks内置的文档智能ai_parse_document转换为文本。最终都能得到可索引用于检索并置于代理之后的文本。
M3 Accounting使用GitHub和SharePoint连接器将工程和产品文档统一到Databricks。其数据与AI副总裁Ross Serven表示,GitHub连接器几分钟内就运行起来,每周节省约一小时,自动将GitHub数据与其他工程运营数据混合,提供可操作的开发者活动全貌;SharePoint连接器指向产品文档库后,内部知识助手在一周内就能从实时更新的内容中提取信息,无需自定义爬虫或文件同步脚本。
随着AI代理和生成式工具在团队中普及,关于模型支出的问题也随之而来:花了多少钱、谁在使用什么、是否合规。Lakeflow Connect为大型基础模型提供商提供连接器。OpenAI连接器摄入使用量、成本、API密钥、项目、用户和审计日志,便于按团队归因AI支出并跟踪采用情况。Anthropic连接器摄入审计日志、组织用户和角色以及claude.ai聊天和消息内容,便于治理工具使用。这使企业能够统一查看AI使用和采用趋势,衡量并报告AI投资回报。
在Atlassian生态方面,Lakeflow Connect覆盖Jira和Confluence。Jira连接器摄入问题、评论、冲刺、看板和自定义字段,便于跟踪交付并构建跨项目仪表板。Confluence连接器摄入页面和博客文章的全文,以及空间、标签和附件,使团队书面知识可搜索、可分析。两者结合可全面了解Atlassian数据,跟踪发布、瓶颈和解决时间,构建AI/BI仪表板,并用Genie以自然语言提问。
DigiCert使用Confluence连接器可靠地支持其内部AI知识助手,无需自定义管道开销,保持知识助手与最新文档同步,特别有利于产品机器人保持准确、最新的知识。Orizon使用Jira连接器将168个项目的超过一百万张工单每日同步到Databricks,成功率达100%,并基于此构建AI/BI仪表板,自动为指导委员会驾驶舱提供数据;Genie让他们用自然语言提问并即时获得答案。
由于每个连接器都将数据作为受治理的Delta表落地Unity Catalog,摄入的生产力和AI数据与企业其他数据处于同一基础之上。用户可以直接在Databricks SQL中查询,用AI/BI Genie以自然语言提问,并用Agent Bricks基于当前公司知识构建代理。治理、血缘和访问控制均来自Unity Catalog,因此无论数据来自哪个团队或工具,访问权限保持一致。TRegs等金融科技平台已在此基础之上构建应用。