本文にスキップ
AI News HubLIVE
サイト内リライト6 分で読了

Exa、AWS AIチップで埋め込みスループットを50%向上させ数十億文書をインデックス

記事の要約

Exaのニューラル検索エンジンは自社開発のベクトルデータベースに支えられており、数十億のウェブ文書を埋め込む際の単位経済性がビジネスを左右します。この記事では、ExaがカスタムNKIカーネルを用いてAWS Neuronハードウェア(Inferentia2とTrainium2)上の埋め込み推論を最適化し、100万文書あたりのパフォーマンスとコストで47%の改善を達成した方法を紹介します。

ソースAWS Machine Learning Blog著者: Summer Devlin
Exa、AWS AIチップで埋め込みスループットを50%向上させ数十億文書をインデックス
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Exaは、ウェブ全体およびプライベート・合成ソースから知識を集約・提供することで、真のウェブインデックスの構築を進めています。このインデックスはセマンティック検索に最適化され、エージェントと人間に真の高品質データを基盤として提供します。Exaはマルチタワー型のセマンティック機械学習モデルを用いてウェブデータとクエリデータを同じベクトル空間に埋め込み、ユーザーが自然言語で複雑なクエリを表現できるようにすると同時に、従来のキーワード検索もサポートします。これを支える基盤技術は自社開発のベクトルデータベースです。できるだけ多くの高品質なウェブデータを取り込み、すべてを埋め込む必要があります。したがって、埋め込みの単位経済性がExaのすべての活動の基盤となっています。数百億文書の規模では、1ドルあたりのパフォーマンスが最高のハードウェアを見つけることはチューニングの詳細ではなく、文書あたりのコスト改善が積み重なって大きな数字になります。

この記事では、ExaがAWS Neuronハードウェア(AWS Inferentia2とAWS Trainium2)上で、より安価で柔軟な推論ワークロードのために埋め込みインフラストラクチャを最適化した方法と、エージェント開発ワークフローがどのように最適化を推進したかを詳述します。

推論は非同期パイプライン上で実行されますが、最新データを迅速に提供し、発見から提供までの時間を短縮するために、大容量かつ高速である必要があります。Exaスタックの簡略図は、ランク付けで十分に高品質とされたすべての構造化ウェブ文書が提供前に埋め込まれる必要があることを示しています。生のウェブデータはクローラーから非同期パイプラインに入り、解析、モデレーション、フィルタリングを経て埋め込みが行われ、結果はベクトルデータベースから提供されます。

大規模な文書埋め込み

ExaのNeuronハードウェアファミリーとの経験はバックフィルから始まりました。より優れた文書モデルに移行するため、既存のコーパスを再埋め込みする必要がありました。彼らは300億の優先度の高い文書を再埋め込み対象として選択しました。このような移行は一時的に埋め込み負荷を倍増させるため、ハードウェア選択を再評価する絶好の機会となりました。図は、クロールと解析の段階を共有する2つの並列パイプラインを示しています。1つはライブモデルでライブインデックスに埋め込み、もう1つは新しいモデルで優先文書を新しいインデックスに再埋め込みします。これが負荷を倍増させる理由です。この倍増は、ハードウェアと最適化の選択を再考する明確なトリガーとなりました。

最適化の旅

AWS Inferentia2の数値は、最小インスタンスタイプ(inf2.xlarge、1チップ2 NeuronCore)でのパフォーマンスを指します。Exaのワークロードは単一のNeuronCore上で実行されるため、Kubernetes Podをより大きなインスタンスにパックしてコアをアイドル状態にせず、埋め込みフリート全体でコンテナの均質性を実現しています。同じプロセスがTrainium2 NeuronCore上で実行され、データ並列性によって同じようにスケールします。初期のInferentia2実装は、モデルの単純なデータ並列FP16表現でした。そのベースラインから、Neuron SDKとAWS Trainiumチームのサポートを活用して、スループット(文書/秒)を可能な限り高める取り組みが始まりました。次の図は各マイルストーンでのスループット向上を示しています。

素朴なコンパイルから始まり、一連の段階的な最適化により最終的に約1.5倍のスループット向上を達成しました。最初は重みレイアウトの最適化で、重みレイアウトをモデル全体のスケジューリングとレイアウトに合わせることで不要な転置を排除しました。また、自動キャストを有効にし、コンパイラが行列乗算を低精度にダウンキャストしながら動的範囲を維持できるようにしました。ダウンキャストされた出力は参照に対する0.999のコサイン類似度という正確性ゲートを満たしたため、精度への影響は許容範囲内でした。

NKIカーネル

Neuronカーネルインターフェース(NKI)ライブラリは、一般的なモデル層と操作に最適化されたカーネルを提供します。これらの事前構築済みカーネルは一般的な機能で即座に効果を発揮し、最もわかりやすい非効率の原因を迅速に排除するために使用されました。ドロップインのアテンションカーネルが次のパフォーマンス向上をもたらしました。

メモリレイアウトの最適化:融合SwiGLU MLPカーネル

次のボトルネックはメモリスピルでした。Neuron Explorerのプロファイルは、高帯域メモリ(HBM)からのスピルとリロードが頻繁に発生し、フォワードパス全体でテンソルエンジンが十分に活用されていないことを一貫して示していました。ドロップインのMLPカーネルを足がかりに事前構築された実装の欠点をプロファイルした後、HBMのストールを排除するカスタムの重み定常融合SwiGLU MLPカーネルを作成しました。レイアウト操作、ループ、メモリ操作には高レベルのNKI言語を使用し、特定のテンソル操作にのみ低レベルのNKI ISAに降りました。カーネルの大部分を高レベル言語に保つことで、エンジニアにとって理解しやすくデバッグしやすくなります。

FLOPSの削減

この時点で壁にぶつかりました。一方のコアがアイドル状態のときのアクセラレータあたりのスループットは、両方のコアが同時に実行されているときよりも大幅に高いことがわかりました。この差は、理論上のデータ並列スループットが実際の集約パフォーマンスをはるかに上回るはずであることを意味し、コア間の競合を示唆していました。プロファイリングと実験により、ワークロードがまだテンソルエンジンを飽和させていないことがわかりました。残りのヘッドルームは、計算をより簡潔にすることで獲得できます。最も明確な道は、結果を生成するために必要な全体のFLOPSを削減し、無駄を排除することでした。モデル内の正確な形状に合わせてアテンションカーネルを書き直し、パディングに費やすFLOPSを削減しました。ここでカーネルのカスタマイズが真に効果を発揮します。汎用カーネルはあらゆる形状を処理するように構築されているため、特定のアーキテクチャの形状を活用できません。モデルのヘッドアーキテクチャの実際の形状に実装を合わせることで、アテンションからより多くのパフォーマンスを引き出しました。また、汎用カーネルが複数の命令ステップを使用するのに対し、アテンション操作を単一の行列乗算に折り畳みました。これにより同じ値を計算するための内部ループ操作が削減され、HBMの往復が減少し、最終的な大幅な高速化が実現しました。

合計で、最終バージョンは初期ベースラインに対して、100万文書あたりのパフォーマンスとコストで47%の改善を達成しました。

エージェント手法

エージェントは、正確性を検証し、パフォーマンスを測定し、ワークロードをプロファイルして次の方向性を見つけるためのシンプルな3部構成のハーネス内で、これらすべての最適化を開発しました。MLOpsワークフロープラットフォームであるFlyteを使用して、各エージェントは独自のワークフローを実行します。ワークフローはNEFF Neuron実行可能ファイルをコンパイルし、ベースラインデータセットに対してフォワードパスをチェックします。これは正規モデルに対して0.999のコサイン類似度に達する必要があります。その後、1回のフォワードパスをプロファイルし、実際のハードウェアで30分間の飽和ベンチマークを実行します。

このハーネスは異なるコストのエージェントをサポートします。軽量モデルはコンパイラパラメータのグリッドサーチなどの退屈な作業を処理し、正確性チェックがドリフトを防ぎます。推論エージェントは複雑な仮説をテストしてボトルネックを見つけ、最も強力なコード生成エージェントがカスタムカーネルを書いて修正します。各エージェントをそのタスクに合わせることでコストを抑え、検証により有能なエージェントのドリフトを防ぎます。多くのエージェントが最新の機能と構文を知らないため、Neuronエージェント開発スキルも役立ちました。

柔軟なコンピューティングの利点

これまで、米国西部(オレゴン)リージョン(us-west-2)のInferentia2を最適化してきましたが、1つのリージョンで1つのハードウェアファミリーをチューニングすることには限界があります。スポットとオンデマンドの可用性はリージョンによって異なり、多くの消費者を持つ組織は自己競争に陥ります。1つのリージョンやインスタンスタイプに固定すると、ほぼ確実にコンピューティング不足が発生し、サービスが低下する可能性があります。Exaは1つのKubernetesコントロールプレーンから複数のリージョンにわたってコンピューティングをスケジュールします。スケジューラはインスタンスタイプ間の1ドルあたりのパフォーマンスを比較し、最も安価なノードにPodをパックし、埋め込み需要の変化に応じて再スケジュールします。最適化する各ハードウェアタイプは、グローバル最適に近づきます。これが、Inferentia2の作業が直接Trainium2に引き継がれた理由です。ハードウェアプロファイルをシフトすることで、他のチームが必要とするノードを解放したり、未使用の予約コンピューティングを吸収したりできます。長期間使用されるモデルでは、ハードウェア全体の最適化が大きなリターンをもたらします。

結論

Exaが運営する規模では、柔軟なハードウェアプールから最大のコストパフォーマンスを引き出すことが重要です。Neuronハードウェアをそのプールに追加し、NKIで最適化することは、長期的なコスト削減の主要な源であることが証明されています。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ExaはAWS Inferentia2とTrainium2上で埋め込み推論を最適化し、スループットと100万文書あたりのコストで47%の改善を達成。
  • 融合SwiGLU MLPや形状特化アテンションなどのカスタムNKIカーネルにより、メモリスピルを排除しFLOPSを削減。
  • エージェント開発ワークフローがパフォーマンスプロファイリングとカーネル最適化を自動化。
  • リージョンとハードウェアタイプ間の柔軟なスケジューリングがコストをさらに削減。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。