本文にスキップ
AI News HubLIVE
サイト内リライト4 分で読了

Lakeflow Connectで生産性とAIデータを統合

記事の要約

Databricksのブログは、Lakeflow ConnectがAtlassian、Microsoft、Google、GitHub、OpenAI、Anthropicなどの生産性・AIツールからのデータをネイティブなマネージドコネクタでUnity Catalogに取り込み、カスタムパイプラインを排除してエンタープライズ知識ベース、AIエージェント、AI支出ガバナンスを実現する方法を説明しています。

Lakeflow Connectで生産性とAIデータを統合
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

企業の最も価値ある知識は生産性とコラボレーションツールに眠っていますが、そのデータは何十もの個別アプリケーションに分散し、データソースごとにカスタムAPI統合が必要でした。Databricksのブログによると、Lakeflow Connectはネイティブで完全マネージドのコネクタを提供し、データチームがカスタムパイプラインを構築・維持することなく、生産性データとAIデータをUnity Catalogに統合取り込みできるようにします。

Lakeflow ConnectはDatabricksプラットフォーム上のデータ取り込みエンジンであり、SaaSアプリケーション、データベース、ファイルソースをカバーするマネージドコネクタを提供します。ユーザーはクリック操作のUIまたはシンプルなAPIでコネクタを設定でき、データは増分でガバナンスされたマネージドテーブルとしてUnity Catalogに取り込まれます。インフラのプロビジョニング、管理、スケーリングは不要です。コネクタは顧客の要望に優先順位を付けており、Customer 360、オペレーション、財務、生産性などあらゆる業務ラインをカバーしています。

生産性ツールスタックは通常、プロジェクトトラッカー、Wiki、ドキュメントストア、受信トレイ、AIツールで構成され、それぞれが仕事の進め方の一部を記録するに過ぎません。従来、これらのデータを抽出するにはカスタムパイプラインの寄せ集めが必要で、構築が遅く保守が困難でした。そのため、企业内部知識に基づくAIエージェントや運用分析の可視化など、最も影響力のあるユースケースが実現できないでいました。Lakeflow Connectは、コラボレーション(Jira、Monday.com、Smartsheet、Aha!、GitHub)、企業知識(Confluence、Notion、Glean、SharePoint、Google Drive)、メール(Outlook、Gmail)、AI(OpenAI、Anthropic)にわたる組み込みコネクタを提供します。

実際の事例として、Toyota Finance AustraliaはJiraコネクタを使用し、完全マネージドでゼロメンテナンスのパイプラインとしてデータをDatabricksに取り込み、APIの複雑さとスキーマ変更を自動処理して、ガバナンスされた分析可能なDeltaテーブルを提供しています。VaxCareはConfluenceコネクタを使用して内部知識ベースをDatabricksに送り、チャットボットが検索・活用できるデータとして利用し、将来のAIソリューションの基盤としています。

非構造化コンテンツについて、AIエージェントは企業の集合知から即座に根拠のある回答を提供できますが、エージェントの品質は背後にあるデータに依存し、その大部分は非構造化です。Lakeflow Connectのコネクタは、ファイル、ページ、メッセージなどの非構造化コンテンツをガバナンスされたテーブルとしてUnity Catalogに着地させます。ソースによって到着形式は異なります。SharePointコネクタはPDF、Word文書、スライド、画像などのファイルを1行として取り込み、生バイトをcontent列(BINARYまたはFILE型)に保存し、メタデータを付随させます。ExcelやCSVなどの構造化ファイルはDeltaテーブルとして直接着地できます。Google Driveコネクタも同様に非構造化ファイルの生バイトを1行として取り込み、構造化ファイルはDeltaテーブルとして直接着地できます。Confluenceコネクタは各ページとブログ投稿の内容をSTRUCT型としてbodyフィールドに取り込みます。Outlookコネクタはメール本文をfull_body_content列にテキスト文字列(HTMLまたはプレーンテキスト)として保存し、添付ファイルをattachments列にBINARY型で保存します。Gmailコネクタは完全なメッセージ本文をテキスト文字列としてmessagesテーブルに取り込み、添付ファイル参照attachmentIdも取り込みます。GitHubコネクタはリポジトリのテキストファイル(ソースコード、Markdown、設定)をrepo_contentsテーブルのcontent列に保存します。

ソースに関係なく、コンテンツはガバナンスされたテーブルとしてUnity Catalogに着地し、下流のAIユースケース向けに変換を開始できます。Confluenceページ、メール本文、GitHubソースファイルなどのテキストは、軽いクレンジング後にチャンク化と埋め込みの準備が整います。一方、SharePointやGoogle Driveのファイル、Outlookの添付ファイルなど生バイトで到着するドキュメントファイルは、まずDatabricks内蔵のドキュメントインテリジェンスai_parse_documentでテキストに変換されます。いずれの場合も、検索用にインデックス化しエージェントの背後に配置できるテキストが得られます。

M3 AccountingはGitHubとSharePointのコネクタを使用して、エンジニアリングと製品ドキュメントをDatabricksに統合しています。Data & AI担当VPのRoss Serven氏によると、GitHubコネクタは数分で稼働し、GitHubデータを他のエンジニアリング運用データと自動的に組み合わせることで週約1時間を節約し、実用的な開発者アクティビティの全体像を提供します。SharePointコネクタを製品ドキュメントライブラリに向けたところ、内部知識アシスタントが1週間以内にライブで最新のコンテンツから情報を取得できるようになりました。カスタムクローラやファイル同期スクリプトは不要です。

AIエージェントと生成ツールがチームに広がるにつれ、モデルに関する疑问も広がります。いくら使っているのか、誰が何を使っているのか、コンプライアンスは守られているのか。Lakeflow Connectは主要な基盤モデルプロバイダー向けのコネクタを提供します。OpenAIコネクタは使用量、コスト、APIキー、プロジェクト、ユーザー、監査ログを取り込み、チーム別のAI支出の帰属と採用状況の追跡を可能にします。Anthropicコネクタは監査ログ、組織のユーザーとロール、claude.aiのチャットとメッセージの内容を取り込み、ツールの使用をガバナンスできます。これにより、組織内のAI使用と採用の傾向を統合的に把握し、AI投資のROIを測定・報告できます。

Atlassianエコシステムでは、Lakeflow ConnectはJiraとConfluenceをカバーします。Jiraコネクタは課題、コメント、スプリント、ボード、カスタムフィールドを取り込み、プロジェクト全体の納品追跡とダッシュボード構築を可能にします。Confluenceコネクタはページとブログ投稿の全文、スペース、ラベル、添付ファイルを取り込み、チームの文書化された知識を検索・分析可能な形で提供します。両者を組み合わせることで、Atlassianデータの全体像を把握し、リリース、ボトルネック、解決時間を追跡し、AI/BIダッシュボードを構築し、Genieに自然言語で質問できます。

DigiCertはConfluenceコネクタを使用して、カスタムパイプラインのオーバーヘッドなしに内部AI知識アシスタントを確実に運用し、知識アシスタントを最新ドキュメントと同期させています。製品ボットが正確で最新の知識を維持するのに特に有効です。OrizonはJiraコネクタを使用して168プロジェクトの100万件以上のチケットを毎日100%の成功率でDatabricksに同期し、AI/BIダッシュボードを構築して指導委員会のコックピットに自動供給しています。Genieにより自然言語で質問し即座に回答を得られます。

すべてのコネクタがデータをガバナンスされたDeltaテーブルとしてUnity Catalogに着地させるため、取り込まれた生産性とAIデータは企業の他のデータと同じ基盤の一部になります。Databricks SQLで直接クエリし、AI/BI Genieで自然言語の質問をし、Agent Bricksで現在の会社知識に基づくエージェントを構築できます。ガバナンス、リネージ、アクセス制御はすべてUnity Catalogから提供されるため、データの元のチームやツールに関係なくアクセスは一貫します。TRegsなどの金融テクノロジープラットフォームはすでにこの基盤上に構築を進めています。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • Lakeflow ConnectはJira、Confluence、SharePoint、Google Workspace、GitHub、OpenAI、Anthropic向けの完全マネージドネイティブコネクタを提供。
  • すべてのデータはガバナンスされたDeltaテーブルとしてUnity Catalogに着地し、インフラ管理不要で増分取り込みが可能。
  • ファイル、ページ、メールなどの非構造化コンテンツは生バイトまたはテキストとして取り込まれ、ai_parse_documentでインデックス可能なテキストに変換。
  • AIプロバイダーコネクタは使用量、コスト、監査ログを取り込み、AI支出の帰属とROI測定を可能にします。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。