規制産業の組織は、アドホック分析のために開発者に必要な俊敏性を提供するか、コンプライアンス要件を満たすために環境をロックダウンするかという永続的なジレンマに直面しています。ZS Associatesは、AWSと協力して、開発者の俊敏性と厳格なガバナンスのバランスを取る、セキュリティ強化されたAmazon SageMaker環境を構築しました。このプラットフォームは現在、200以上のSageMakerドメインで1,000人以上の日常アクティブユーザーにサービスを提供し、組織全体での機械学習(ML)アクセスの民主化を大幅に推進しています。
ZSはエンタープライズML運用の基盤としてAmazon SageMaker Studioを選択し、独自のセキュリティ基準を開発者エクスペリエンスに直接統合する包括的なセキュリティフレームワークを実装しました。このアプローチにより、組織全体のデータサイエンティストとアナリストが、ヘルスケア部門の要件を維持しながらML機能にアクセスできるようになりました。ソリューションアーキテクチャはデフォルトでインターネット非接続モードで動作し、展開は直接的なインターネットアクセスなしで行われます。Amazon VPCエンドポイントは、必要なAWSサービスとの制御された通信を提供します。パッケージ管理では、JFrog Artifactoryをアップストリームリポジトリリンクとリアルタイムパッケージスキャンで統合し、不正または改ざんされたコードが環境に入るのを防ぎます。
技術アーキテクチャはマルチテナント設計を採用し、テナントごとに個別のAmazon SageMakerドメインを維持します。各ドメインは、分離されたAmazon EFSボリューム、個別のIAMロール、および制御可能なネットワーク設定を維持し、強力な分離を提供し、きめ細かいコスト追跡とアクセス制御をサポートします。ZSは3層IAMロール構造を実装しました:ドメイン実行ロール(ユーザーのデフォルト)、スタジオユーザーロール(ドメインデフォルトを上書きしてきめ細かい制御を実現)、スペース実行ロール(共有ワークスペースを管理)です。この階層は、運用の柔軟性を維持しながら、プラットフォーム全体に最小特権の原則を適用します。
データ保護のために、チームはすべてのリソースでAWS KMS暗号化をデフォルトで有効にし、EFSボリューム、S3バケット、ECR、CodeCommitリポジトリは自動的に暗号化を継承します(ZSのCodeCommit展開は、2024年7月に新規顧客向けサービスが終了する前のものです)。プラットフォームは、OSレベルの脅威検出にCrowdStrike、ログ集約にSplunkを統合し、AWS CloudTrailはすべてのAPI呼び出しを記録して監査証跡をサポートします。
ZSはプラットフォームをほとんどのアプリケーションチームメンバーに展開し、SageMakerを主要なアドホック分析ツールとして確立しました。このソリューションは、いくつかの定量化可能な利益をもたらします:
運用効率:自動ライフサイクル設定は、手動介入なしでコンプライアンスとコスト管理を強制します。SageMakerにはネイティブのバックアップ機能がないため、ZSはユーザーデータとスクリプトを定期的にAmazon S3に自動同期するカスタムライフサイクル設定を構築し、すべてのユーザーに自己管理なしで回復力のある環境を提供します。コスト管理には、IAMポリシーによりユーザーは事前承認された小規模なインスタンスタイプのセットに制限され、より高性能なインスタンスのプロビジョニングには分析チームへの別途許可リスト申請が必要です。アイドルリソースを解放する自動シャットダウン設定と組み合わせることで、これらの制御は過剰プロビジョニングを防ぎ、アイドルリソースコストを排除します。
セキュリティコンプライアンス:プラットフォームは、ネットワーク分離、保存中および転送中の暗号化、リアルタイムの脅威検出、完全な監査ログなどの包括的な制御を通じて、ヘルスケア部門のセキュリティ要件を満たしています。
コスト最適化:タグベースのコスト配分は、正確なチャージバックモデルをサポートします。すべてのドメインとリソースはチームとプロジェクトでタグ付けされ、AWS Cost Explorerはこれらのタグを使用して、ドメイン、ユーザー、プロジェクト全体の支出の可視性を提供します。これにより、ZSはコストを正確に帰属させ、実際の使用量に基づいて各チームに請求できます。200以上のSageMakerドメインと500人以上の日常アクティブユーザーにわたって、毎月のSageMaker支出は5万ドルを超えます。ZSはその支出にSageMaker Savings Plansを適用し、毎月約1万ドルを節約し、ライフサイクルポリシーは非アクティブなリソースを自動的にシャットダウンしてアイドルコストを最小限に抑えます。
大規模なガバナンス:ZSはSageMaker機能全体できめ細かいアクセス制御を実装しました。IAMポリシーは、ユーザーロールに基づいてData Wrangler、Autopilot、JumpStartへのアクセスを制限します。Notebook Jobsは、実行に明示的なIAMロールARNを要求し、各コンピューティング操作の説明責任を確保します。
本番スケールと検証:ZSはプラットフォームを本番環境で大規模に実行しています:複数のAWSアカウントに200以上のSageMakerドメインを展開し、毎日500人以上のユーザーがいます。Streamlitベースのセルフサービスツール、自動ライフサイクル設定、タグベースのチャージバックなどのカスタム実装により、手動コンプライアンスのオーバーヘッドが削減され、AWS管理コンソールへの依存が軽減されました。SageMakerはZSのほとんどのアプリケーションチームの主要なアドホック分析ツールになりつつあり、これはプラットフォームが規制環境での日常的なニーズを満たしていることを示す最も明確なシグナルです。
データ耐久性:バックアップ戦略は、タグベースの自動化を備えたAWS Backupを使用します。「ZS_Backup」のタグが付けられたAmazon EFSボリュームは、専用のバックアップ保管庫に保存された保持ポリシーで自動保護を受けます。このアプローチにより、迅速な回復とデータの安全性が保証されます。
要約すると、ZSのケースは、規制産業でセキュリティとイノベーションのバランスを取る方法を示しています。SageMakerを通じて、彼らはコンプライアンス要件を満たすだけでなく、データサイエンティストの生産性を向上させ、コスト削減を達成し、ガバナンスを強化しました。これはエンタープライズMLプラットフォーム構築のモデルとして役立ちます。