跳到主要內容
AI News HubLIVE
站內改寫3 分鐘閱讀

用Lakeflow Connect統一生產力和AI數據

文章摘要

Databricks博客介紹了Lakeflow Connect如何通過原生託管連接器,將Atlassian、微軟、谷歌、GitHub以及OpenAI、Anthropic等生產力與AI工具的數據統一攝入Unity Catalog,消除自定義管道,支撐企業知識庫、AI代理和AI支出治理。

用Lakeflow Connect統一生產力和AI數據
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

企業最有價值的知識往往沉澱在生產力與協作工具中,但這些數據長期分散在數十個獨立應用裏,每個數據源都需要定製API集成。Databricks博客指出,Lakeflow Connect通過原生、全託管的連接器解決了這一難題,讓數據團隊無需構建或維護自定義管道,即可將生產力數據和AI數據統一攝入Unity Catalog。

Lakeflow Connect是Databricks平台上的數據攝入引擎,提供覆蓋SaaS應用、數據庫和文件源的託管連接器。用户可以通過點擊式界面或簡單API設置連接器,數據隨後以增量方式作為受治理的託管表進入Unity Catalog,無需配置、管理或擴展任何基礎設施。連接器按客户需求優先排序,覆蓋客户360、運營、財務和生產力等各條業務線。

生產力工具棧通常包括項目跟蹤器、維基、文檔存儲、收件箱和AI工具,每個工具只記錄工作方式的一部分。傳統上,提取這些數據需要拼湊自定義管道,構建慢且維護痛苦,導致很多高價值用例難以實現,例如基於企業內部知識的AI代理或運營分析可見性。Lakeflow Connect為此提供內置連接器,涵蓋協作類(Jira、Monday.com、Smartsheet、Aha!、GitHub)、企業知識類(Confluence、Notion、Glean、SharePoint、Google Drive)、郵件類(Outlook、Gmail)以及AI類(OpenAI、Anthropic)。

實際案例包括豐田金融澳大利亞公司,其使用Jira連接器將數據作為全託管、零維護管道帶入Databricks,自動處理API複雜性和模式變更,交付受治理、可分析的Delta表。VaxCare則使用Confluence連接器將內部知識庫送入Databricks,為聊天機器人提供可搜索、可操作的數據,併為未來AI解決方案奠定基礎。

對於非結構化內容,AI代理需要基於企業集體知識提供即時、有依據的答案,但代理的質量取決於背後的數據,而大部分數據是非結構化的。Lakeflow Connect的連接器可以將文件、頁面和消息等非結構化內容作為受治理表落入Unity Catalog。不同來源的落地方式各異:SharePoint連接器將PDF、Word文檔、幻燈片和圖像等文件作為一行攝入,原始字節存儲在content列(BINARY或FILE類型),並附帶元數據;結構化文件如Excel和CSV可直接作為Delta表落地。Google Drive連接器類似,將非結構化文件的原始字節作為一行攝入,結構化文件可直接落地為Delta表。Confluence連接器將每個頁面和博客文章的內容作為STRUCT類型存入body字段。Outlook連接器將郵件正文存儲在full_body_content列(HTML或純文本),附件以BINARY類型存儲在attachments列。Gmail連接器將完整郵件正文作為文本字符串攝入messages表,並攝入附件引用attachmentId。GitHub連接器將倉庫文本文件(源代碼、Markdown、配置文件)存儲在repo_contents表的content列。

無論來源如何,內容都以受治理表的形式落地Unity Catalog,之後可以開始轉換以供下游AI使用。文本類內容(如Confluence頁面、郵件正文和GitHub源文件)經過簡單清理後即可分塊和嵌入。而以原始字節到達的文檔文件(如SharePoint和Google Drive的文件或Outlook附件)需要先通過Databricks內置的文檔智能ai_parse_document轉換為文本。最終都能得到可索引用於檢索並置於代理之後的文本。

M3 Accounting使用GitHub和SharePoint連接器將工程和產品文檔統一到Databricks。其數據與AI副總裁Ross Serven表示,GitHub連接器幾分鐘內就運行起來,每週節省約一小時,自動將GitHub數據與其他工程運營數據混合,提供可操作的開發者活動全貌;SharePoint連接器指向產品文檔庫後,內部知識助手在一週內就能從實時更新的內容中提取信息,無需自定義爬蟲或文件同步腳本。

隨着AI代理和生成式工具在團隊中普及,關於模型支出的問題也隨之而來:花了多少錢、誰在使用什麼、是否合規。Lakeflow Connect為大型基礎模型提供商提供連接器。OpenAI連接器攝入使用量、成本、API密鑰、項目、用户和審計日誌,便於按團隊歸因AI支出並跟蹤採用情況。Anthropic連接器攝入審計日誌、組織用户和角色以及claude.ai聊天和消息內容,便於治理工具使用。這使企業能夠統一查看AI使用和採用趨勢,衡量並報告AI投資回報。

在Atlassian生態方面,Lakeflow Connect覆蓋Jira和Confluence。Jira連接器攝入問題、評論、衝刺、看板和自定義字段,便於跟蹤交付並構建跨項目儀表板。Confluence連接器攝入頁面和博客文章的全文,以及空間、標籤和附件,使團隊書面知識可搜索、可分析。兩者結合可全面瞭解Atlassian數據,跟蹤發佈、瓶頸和解決時間,構建AI/BI儀表板,並用Genie以自然語言提問。

DigiCert使用Confluence連接器可靠地支持其內部AI知識助手,無需自定義管道開銷,保持知識助手與最新文檔同步,特別有利於產品機器人保持準確、最新的知識。Orizon使用Jira連接器將168個項目的超過一百萬張工單每日同步到Databricks,成功率達100%,並基於此構建AI/BI儀表板,自動為指導委員會駕駛艙提供數據;Genie讓他們用自然語言提問並即時獲得答案。

由於每個連接器都將數據作為受治理的Delta表落地Unity Catalog,攝入的生產力和AI數據與企業其他數據處於同一基礎之上。用户可以直接在Databricks SQL中查詢,用AI/BI Genie以自然語言提問,並用Agent Bricks基於當前公司知識構建代理。治理、血緣和訪問控制均來自Unity Catalog,因此無論數據來自哪個團隊或工具,訪問權限保持一致。TRegs等金融科技平台已在此基礎之上構建應用。

展開要點與分析

文章情報

工程師中級

要點

  • Lakeflow Connect提供完全託管的原生連接器,覆蓋Jira、Confluence、SharePoint、Google Workspace、GitHub以及OpenAI和Anthropic等AI提供商。
  • 所有數據以受治理的Delta表形式落地Unity Catalog,無需管理基礎設施,支持增量攝入。
  • 非結構化內容(文件、頁面、郵件)可作為原始字節或文本攝入,並通過ai_parse_document轉換為可索引文本。
  • AI提供商連接器帶來使用量、成本、審計日誌等數據,便於歸因AI支出和衡量投資回報。

技術影響

可能影響 Agent 架構、工具調用、工作流自動化和產品集成。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。