Snorkelは、AIシステムのトレーニングと評価のための複雑なデータセットを開発・検証するフロンティアAIデータラボです。同社のエージェントデータプラットフォームは、人間の専門家と継続的に学習する専用エージェントを組み合わせ、より高品質なデータを迅速に生成します。このプラットフォームは、フロンティアAIラボや一流企業で数兆件のクエリとレコードを処理するシステムを支え、データキュレーション、モデル評価、エージェントベンチマークをサポートしています。
Snorkelの業務の中核を成す評価分野では、厳格なベンチマークを構築し、大規模なシミュレーションを実行してモデル性能の向上を検証しています。現在、ModalはSnorkelが評価するオープンウェイトモデルの推論を提供するとともに、月間数百万回のシミュレーション用のGPUおよびCPUサンドボックスを提供しています。
エージェントを正確に測定するには、現実的な作業環境を整える必要があります。そうでなければ、エージェントが失敗した理由がツールの不足なのか能力の不足なのかを判断するのは困難です。ベンチマークによって必要なツールは異なります。機械学習エージェントはモデルトレーニング用のGPUを必要とし、インフラエージェントは完全なLinuxカーネルへのアクセスを必要とする場合があります。SnorkelはModalのサンドボックスを利用して、マルチサービスシステムやGPU対応ワークロードを含む複雑な環境を再現しました。包括的なGPUサンドボックスのサポートはチームの必須要件であり、Modalは大規模にそのニーズを満たせる唯一のサンドボックスプロバイダーでした。GPUとCPUの両方のサンドボックスを1社で提供することで、インフラとコスト追跡も簡素化されました。
Snorkelは月に数百万のサンドボックスを作成し、ピーク時には1時間に数万に達することもあります。新しいモデルがリリースされたり、既存モデルがチューニングされたりすると、チームは公開および独自のベンチマークで評価を実行します。これらの包括的な評価は時間に敏感で、顧客は通常1日以内にモデルが自社のユースケースに適しているかを知りたがるため、Modalが提供する高いサンドボックス同時実行性が求められました。
以前、Snorkelチームはサンドボックスの構成時にエージェントのCPUとメモリのニーズを見積もっていました。リソース不足でエージェントがタスクを完了できず、実行結果が無効になる場合もあれば、リソースを過剰にプロビジョニングしてコスト効率が悪化する場合もありました。エージェントのリソース必要量の見積もりは、特に二つの理由で困難です。サンドボックス内のリソース使用量は急増しやすく、ワークロードの形状は静的に把握できないからです。サンドボックスのライフタイム中には、LLMの応答待ちなどのアイドル期間と、grepコマンドの実行などのスパイクが交互に発生します。サンドボックスで実行されるコードはすべてLLM生成であるため、特定のリソースニーズを推定するのは難しく、多様なベンチマークを実行するSnorkelではなおさらです。
プロビジョニングを簡素化するため、SnorkelはModalのバースティング機能を使い始めました。個々のサンドボックスが特定時点で必要とするメモリやCPUリソースを弾力的に拡張できます。顧客は、サンドボックスが特定時点で使用しているリソースか、最初に要求したリソースのいずれか高い方に対して課金されます。まだ導入初期段階で、現在Snorkelのサンドボックスの約10〜15%がバースティングを利用しています。Snorkelの5,000サンドボックスのランダムサンプルを、ピークCPUとメモリ使用量のリクエストに対する割合でプロットしたグラフも示されています。
バースティングにより、構成時にCPUとメモリを割り当てつつ、実行時に柔軟性を保つことが可能になりました。Snorkelチームにとって、これはリソース制限による実行失敗が減少し、信頼性が向上することを意味しました。また、バースティングにより、信頼性を損なうことなくサンドボックスの要求リソースを減らすことができ、大幅なコスト削減につながりました。SnorkelのシニアAIプラットフォームマネージャー、Rustem Feyzkhanov氏は次のように述べています。「中小企業やエージェントからのタスクを、インフラを過剰にプロビジョニングせずにサポートする必要があります。バースティングは構成時と実行時に柔軟性をもたらし、過剰プロビジョニングを回避して、サンドボックス請求額全体の約20%を節約できます。」
シミュレーションの実行には環境だけでなく推論も必要です。Snorkelチームは、新しいモデルや微調整されたモデルに対して、エンドポイントを迅速に立ち上げ、ベンチマークを実行し、その後シャットダウンする必要がありました。新しいモデルのd0評価など、既製のエンドポイントを使用できる場合もありますが、顧客が微調整したカスタムモデルをホストして提供する必要がある場合もあります。SnorkelはModalの共有エンドポイントと専用エンドポイントを組み合わせて推論を提供し、インフラチームを関与させることなくモデルを迅速に立ち上げ、カスタムウェイトをロードできるようにしています。Feyzkhanov氏は言います。「ModalのサーバーレスGPUにより、独自モデルを持ち込むことも共有推論を使うこともでき、さまざまなベンチマークに推論を利用しながら、非常に迅速かつ信頼性高くスケールできます。」
Modalとの約6ヶ月の協業の中で、SnorkelはVMサンドボックスなどModalが提供する新機能を採用してきました。Feyzkhanov氏は次のように述べています。「エージェントになると、インフラは非常に興味深い課題になり、迅速に動く能力が重要です。AI業界はスピードがすべてであり、Modalは私たちとともに速く動きます。」
現在、Snorkelは推論の実行とシミュレーションを支えるサンドボックスのためにModalに依存しています。将来的には、Modalをトレーニングソリューションとして評価し、データを活用してトレーニングから評価までのモデル改善の完全なループを実現する計画です。Feyzkhanov氏は次のように締めくくっています。「結局のところ、モデルの改善にはデータとコンピュートの2つが必要です。Modalは私たちがデータに集中できるようにし、コンピュートのためのインフラを提供してくれます。」