跳到主要內容
AI News HubLIVE
站內改寫3 分鐘閱讀

用Lakeflow Connect統一生產力和AI資料

文章摘要

Databricks部落格介紹了Lakeflow Connect如何透過原生託管聯結器,將Atlassian、微軟、谷歌、GitHub以及OpenAI、Anthropic等生產力與AI工具的資料統一攝入Unity Catalog,消除自定義管道,支撐企業知識庫、AI代理和AI支出治理。

用Lakeflow Connect統一生產力和AI資料
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

企業最有價值的知識往往沉澱在生產力與協作工具中,但這些資料長期分散在數十個獨立應用裡,每個資料來源都需要定製API整合。Databricks部落格指出,Lakeflow Connect透過原生、全託管的聯結器解決了這一難題,讓資料團隊無需構建或維護自定義管道,即可將生產力資料和AI資料統一攝入Unity Catalog。

Lakeflow Connect是Databricks平臺上的資料攝入引擎,提供覆蓋SaaS應用、資料庫和檔案源的託管聯結器。使用者可以透過點選式介面或簡單API設定聯結器,資料隨後以增量方式作為受治理的託管表進入Unity Catalog,無需配置、管理或擴充套件任何基礎設施。聯結器按客戶需求優先排序,覆蓋客戶360、運營、財務和生產力等各條業務線。

生產力工具棧通常包括專案跟蹤器、維基、文件儲存、收件箱和AI工具,每個工具只記錄工作方式的一部分。傳統上,提取這些資料需要拼湊自定義管道,構建慢且維護痛苦,導致很多高價值用例難以實現,例如基於企業內部知識的AI代理或運營分析可見性。Lakeflow Connect為此提供內建聯結器,涵蓋協作類(Jira、Monday.com、Smartsheet、Aha!、GitHub)、企業知識類(Confluence、Notion、Glean、SharePoint、Google Drive)、郵件類(Outlook、Gmail)以及AI類(OpenAI、Anthropic)。

實際案例包括豐田金融澳大利亞公司,其使用Jira聯結器將資料作為全託管、零維護管道帶入Databricks,自動處理API複雜性和模式變更,交付受治理、可分析的Delta表。VaxCare則使用Confluence聯結器將內部知識庫送入Databricks,為聊天機器人提供可搜尋、可操作的資料,併為未來AI解決方案奠定基礎。

對於非結構化內容,AI代理需要基於企業集體知識提供即時、有依據的答案,但代理的質量取決於背後的資料,而大部分資料是非結構化的。Lakeflow Connect的聯結器可以將檔案、頁面和訊息等非結構化內容作為受治理表落入Unity Catalog。不同來源的落地方式各異:SharePoint聯結器將PDF、Word文件、幻燈片和影像等檔案作為一行攝入,原始位元組儲存在content列(BINARY或FILE型別),並附帶後設資料;結構化檔案如Excel和CSV可直接作為Delta表落地。Google Drive聯結器類似,將非結構化檔案的原始位元組作為一行攝入,結構化檔案可直接落地為Delta表。Confluence聯結器將每個頁面和部落格文章的內容作為STRUCT型別存入body欄位。Outlook聯結器將郵件正文儲存在full_body_content列(HTML或純文本),附件以BINARY型別儲存在attachments列。Gmail聯結器將完整郵件正文作為文本字串攝入messages表,並攝入附件引用attachmentId。GitHub聯結器將倉庫文本檔案(原始碼、Markdown、配置檔案)儲存在repo_contents表的content列。

無論來源如何,內容都以受治理表的形式落地Unity Catalog,之後可以開始轉換以供下游AI使用。文本類內容(如Confluence頁面、郵件正文和GitHub原始檔)經過簡單清理後即可分塊和嵌入。而以原始位元組到達的文件檔案(如SharePoint和Google Drive的檔案或Outlook附件)需要先透過Databricks內建的文件智慧ai_parse_document轉換為文本。最終都能得到可索引用於檢索並置於代理之後的文本。

M3 Accounting使用GitHub和SharePoint聯結器將工程和產品文件統一到Databricks。其資料與AI副總裁Ross Serven表示,GitHub聯結器幾分鐘內就執行起來,每週節省約一小時,自動將GitHub資料與其他工程運營資料混合,提供可操作的開發者活動全貌;SharePoint聯結器指向產品文件庫後,內部知識助手在一週內就能從即時更新的內容中提取資訊,無需自定義爬蟲或檔案同步指令碼。

隨著AI代理和生成式工具在團隊中普及,關於模型支出的問題也隨之而來:花了多少錢、誰在使用什麼、是否合規。Lakeflow Connect為大型基礎模型提供商提供聯結器。OpenAI聯結器攝入使用量、成本、API金鑰、專案、使用者和審計日誌,便於按團隊歸因AI支出並跟蹤採用情況。Anthropic聯結器攝入審計日誌、組織使用者和角色以及claude.ai聊天和訊息內容,便於治理工具使用。這使企業能夠統一檢視AI使用和採用趨勢,衡量並報告AI投資回報。

在Atlassian生態方面,Lakeflow Connect覆蓋Jira和Confluence。Jira聯結器攝入問題、評論、衝刺、看板和自定義欄位,便於跟蹤交付並構建跨專案儀表板。Confluence聯結器攝入頁面和部落格文章的全文,以及空間、標籤和附件,使團隊書面知識可搜尋、可分析。兩者結合可全面瞭解Atlassian資料,跟蹤釋出、瓶頸和解決時間,構建AI/BI儀表板,並用Genie以自然語言提問。

DigiCert使用Confluence聯結器可靠地支援其內部AI知識助手,無需自定義管道開銷,保持知識助手與最新文件同步,特別有利於產品機器人保持準確、最新的知識。Orizon使用Jira聯結器將168個專案的超過一百萬張工單每日同步到Databricks,成功率達100%,並基於此構建AI/BI儀表板,自動為指導委員會駕駛艙提供資料;Genie讓他們用自然語言提問並即時獲得答案。

由於每個聯結器都將資料作為受治理的Delta表落地Unity Catalog,攝入的生產力和AI資料與企業其他資料處於同一基礎之上。使用者可以直接在Databricks SQL中查詢,用AI/BI Genie以自然語言提問,並用Agent Bricks基於當前公司知識構建代理。治理、血緣和訪問控制均來自Unity Catalog,因此無論資料來自哪個團隊或工具,訪問許可權保持一致。TRegs等金融科技平臺已在此基礎之上構建應用。

展開要點與分析

文章情報

工程師中級

要點

  • Lakeflow Connect提供完全託管的原生聯結器,覆蓋Jira、Confluence、SharePoint、Google Workspace、GitHub以及OpenAI和Anthropic等AI提供商。
  • 所有資料以受治理的Delta表形式落地Unity Catalog,無需管理基礎設施,支援增量攝入。
  • 非結構化內容(檔案、頁面、郵件)可作為原始位元組或文本攝入,並透過ai_parse_document轉換為可索引文本。
  • AI提供商聯結器帶來使用量、成本、審計日誌等資料,便於歸因AI支出和衡量投資回報。

技術影響

可能影響 Agent 架構、工具呼叫、工作流自動化和產品整合。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。