文書分類を10万以上のラベルに拡張

Databricks では、数千の顧客が自由形式テキストを10万以上のラベルを持つ正規化タクソノミにマッピングする本番ワークロードを構築しています。一般的なユースケースには、生物医学エンティティリンク（臨床ノートや研究論文の疾患、薬剤、手順を UMLS 概念にマッチング）、ベンダー正規化（取引文字列「SBUX #4471 SEATTLE WA」を10万以上のマーチャントにマッピング）、企業名正規化（異なる内部システム間での顧客レコードの重複排除）があります。

これらの大規模分類タスクには、品質、コスト、スループットに関する厳しい要件があります。従来のアプローチ（カスタム正規表現、キーワードマッチング、教師あり機械学習分類器）には多くの欠点があります：パターンマッチングが脆弱で現実のデータの書式変化に対応できず、ラベル分布がロングテールであるため教師あり学習に十分なデータが得られず、タクソノミが頻繁に変更されるためルール更新や再トレーニングが必要になります。

最近では、多くの顧客が大規模言語モデル（LLM）を分類に使い始めていますが、ラベル数が数十万に達すると、LLM のコンテキストウィンドウにタクソノミ全体を収容できず、幻覚を起こして存在しないラベルを返すことがあります。また、すべての文書にタクソノミ全体を渡すのは、プロンプトキャッシングを利用してもコストが高くなります。

Databricks のソリューションは、まず Qwen3-Embedding-8B モデルで全ラベル（説明文を含む）を埋め込み、メモリ内ベクトルインデックスを構築します。次に、入力文書を埋め込み、コサイン類似度（セマンティック）と BM25（語彙）を組み合わせたハイブリッドスコアでベクトル検索を行い、上位 k 個の候補ラベルを取得します。最後に、その候補リストを Databricks AI 分類関数に渡し、最適なラベルを選択させます。

3つのベンチマークデータセット（トランザクション：10万ラベル、200文書；企業：10万ラベル、200文書；MedMentions：3.5万ラベル、200文書）で評価した結果、ベクトル検索 + AI 分類ワークフローの平均精度は 0.81 で、直接フロンティアモデル呼び出し（最高は Gemini 3.5 Flash の 0.76）を上回り、コストは約 100 分の 1 でした。ベクトル検索単独ではコストはさらに低いものの、精度は 20 ポイント以上低くなりました。

このワークフローはタクソノミの変更に容易に対応でき、古いラベルを削除し新しいラベルを埋め込むだけで、再トレーニングや再デプロイは不要です。大規模分類に取り組むチームには、Databricks が提供するチュートリアルが役立ちます。