AI時代のKubernetes

Kubernetesが初めて登場したとき、それはインフラストラクチャと運用の分野における大きな転機であり、開発者や運用担当者がクラウドでアプリケーションを構築、デプロイ、維持する方法を変革しました。それ以来、Kubernetesは最新のアプリケーションが構築され運用されるための明確な標準となっています。CNCFが最新の年次クラウドネイティブ調査レポートで指摘したように、「コンテナユーザーのうち、2025年には82%が本番環境でKubernetesを使用しており、2023年の66%から増加しています。これはコンテナエコシステム内でのほぼ普遍的な採用を表しています。」

ここ数年、KubernetesはコンテナオーケストレーターからAIインフラストラクチャプラットフォームへと進化し、もう一つの変革が起こりました。CNCFの調査によると、「事実上のAIプラットフォームとしてのKubernetesの台頭は、組織が機械学習運用に取り組む方法の根本的な変化を表しています...Kubernetesは、従来のアプリケーションワークロードと計算集約型のAIタスクの両方を処理する統一オーケストレーション層を提供します。」生成AIやエージェンティックAIのような破壊的技術の出現は、この変革をさらに加速させました。

AIとKubernetesの交差点は、運用分野で最も影響力のある発展の一つです。Dijureのソフトウェアアーキテクト、Jonathan Johnson氏は「K8s上のAIは非常に重要ですが、十分なリソースがありません」と述べています。Edward Jonesのシニアテクニカルアーキテクト、Raju Gandhi氏もこれに同意し、「K8s上のAI/MLの運用は大きな問題であり、さらに大きくなっています。このトピックは注目を必要としています」と指摘しています。では、このトレンドについて知っておくべきことは何でしょうか？

生成AI

コンピュータやスマートフォンにアクセスできる人なら誰でも、何らかの形の生成AIを使用したことがあるでしょう。わずか5年前には生成AIが主流の議論の場にはなかったことを考えると、これは驚くべき事実です。しかし2022年末、ChatGPTのデビューは技術革命の始まりを示し、仕事や個人の生活のほぼすべての側面に影響を与え、再形成しました。当然のことながら、現在では何千もの生成AIモデルが存在し、その増加は独自の複雑さをもたらしています。モデルの選択は簡単ですが、アプリケーション開発者やMLOpsエンジニアであれば、そのモデルを本番システムでどのように運用するのでしょうか？回復力、スケーラビリティ、セキュリティ、運用コストなどの要素を考慮するだけでなく、適切に行わなければモデルを実験から本番に移行するのは困難です。ここでKubernetesの出番です。

Red Hatのディスティングイッシュドエンジニア、Roland Huß氏とDaniele Zonca氏が指摘するように、「GenAI/LLMモデルはリソースを大量に消費し、かなりの計算能力と大規模なデータセットを必要とします。そのスケーラビリティと拡張性により、KubernetesはAIおよびLLMモデルの事前学習、ファインチューニング、デプロイ、プロンプトエンジニアリングのための効率的なプラットフォームとして独自の適性を持っています。」彼らはさらに、「Kubernetesとの統合は、最先端のAI技術の採用を簡素化するだけでなく、シームレスで効率的な運用フローを保証します。Kubernetesは、その強力なスケーラビリティと管理機能により、生成AIプロジェクトに理想的なプラットフォームとして立ち、DevOpsとMLOpsの実践を統合エコシステムに整合させます。」と述べています。

この見解は業界の広い範囲で共有されています。上記のCNCF調査によると、2025年時点で組織の66%がKubernetes上で生成AIワークロードを実行しています。これらの組織には、OpenAI（AI/LLMアプリケーションの実験とテストにKubernetesを使用）、Tesla（KServeを使用して本番グレードのLLM推論を管理）、Adobe（Kubernetesを使用して生成クリエイティブモデルスイートを強化）が含まれます。このアプローチを採用している他の企業には、Uber、Intuit、Googleがあります。より多くの企業が生成AIおよびLLM運用にこのプラクティスを採用しているため、どの組織も自社のGenAIおよびLLMワークフローにKubernetesを活用することが賢明です。

エージェンティックAI

GenAIの台頭とほぼ同時に、エージェンティックAIの着実な成長がありました。GenAIとは異なり、エージェンティックAIは単純なプロンプトに答えたりテキストを生成したりするだけでなく、複雑なマルチステップアクションを自律的に実行し、ツールを利用し、独立した決定を下す能力を持ちます。従来のMLプロセスとGenAIおよびLLM運用の両方をサポートする能力を考慮すると、KubernetesがエージェンティックAIエコシステムでも役割を果たすことは驚くことではありません。

RX-Mのプリンシパルコンサルタント、Ronald Petty氏によると、「Kubernetesは機械学習パイプラインをホストするために活用されており、AIモデルのトレーニングと推論が含まれます。推論オプションが豊富で手頃な価格になり、オンプレミスと外部の両方で利用できるようになるにつれ、エージェントの台頭が見られます。クラウドネイティブ技術と人気プロトコルを組み合わせることで、現在ではエージェントがアドホックなデモからKubernetesのようなシステム上の複雑なエージェントフリートへと移行しています。」では、これらの技術間の統合の例にはどのようなものがあるでしょうか？

注目すべき製品の一つはKagentで、KubernetesでAIエージェントを実行するOSプログラミングフレームワークであり、「構成、トラブルシューティング、複雑なデプロイメントシナリオ、可観測性パイプラインとダッシュボード、ネットワークセキュリティの安全な有効化などのクラウドネイティブタスクに取り組むことで、エンジニアが強力な内部プラットフォームを構築するのを支援します。」同様の線に沿って動作するのがK8sGPTで、インテリジェントなインサイトと自動トラブルシューティングを活用してKubernetesクラスターの構成問題とセキュリティ問題を分析し、分析で発見された問題の解決策を生成するAI駆動ツールです。

この分野のより新しいエントリーはSympoziumで、マルチエージェントAIシステムのためのKubernetesネイティブ調整レイヤーであり、「Kubernetesがコンテナに対して解決したのと同じ問題を、コンテキストを共有し、タスクを引き継ぎ、共有状況認識を維持する必要があるエージェントに対して解決します。」もう一つの新しい製品はAgent Sandboxで、Kubernetes上のネイティブAPIを使用してAIエージェントを分離されたステートフルワークロードとして実行できます。

基礎

最新の開発とトレンドを認識することは重要ですが、それは基礎知識とスキルを犠牲にしてはなりません。バスケットボールの偉大な選手、マイケル・ジョーダンがかつて言ったように、「基礎をしっかり身につければ、あなたの行うすべてのレベルのパフォーマンスが上がるでしょう。」Kubernetesを扱うための最も基本的なスキルの一つはネットワーキングですが、厄介なことに、それは習得が難しいものの一つです。Ciscoのシニアスタッフエンジニア、Nico Vibert氏は次のように観察しています。「プラットフォームエンジニアはLinuxネットワーキングには慣れていますが、BGPやIPv6のようなプロトコルにはあまり慣れていません。ネットワーク管理者はそれらのプロトコルをよく知っていますが、Kubernetesの抽象化に不慣れです。どちらのペルソナも、接続性とセキュリティ要件を満たすために必要と思われる数十のネットワーキングツールを操作するのに苦労しています。」しかし、組織がミッションクリティカルなワークロード、AIトレーニングパイプライン、規制対象の金融サービスをKubernetesに移行するにつれ、ネットワーク層を設計、保護、トラブルシューティングできるエンジニアは、業界で最も需要の高い専門家の一人になりました。

Kubernetesネットワーキングスキルの重要性と難しさを認識し、CNCFは最近、Kubernetesネットワークエンジニアの役割に焦点を当てた新しい認定資格を発表しました。この認定資格は、上記のすべての層にわたる実践的なネットワーキング専門知識を検証するように設計されており、Kubernetesコミュニティが長年認識していたギャップを埋めます。

Kubernetesを使用してアプリケーションを開発および提供する組織にとって、リーダーや意思決定者は、Kubernetesを最新のAIツールと組み合わせて活用することがもはや贅沢ではなく、企業が繁栄するために必要な慣行であることを認識する必要があります。同様の責任は基本にも置かれるべきです。次のDevOps、ネットワーク、またはサイト信頼性エンジニアを雇う際には、Kubernetesネットワーク層の設計、保護、トラブルシューティングにおいて比類のない能力を確保してください。

さらに深く掘り下げたい場合は、Roland Huß氏とDaniele Zonca氏の『Generative AI on Kubernetes』、Jonathan Johnson氏のライブコース『GPU Kubernetes Homelab』、Alex Corvin氏、Taneem Ibrahim氏、Kyle Stratis氏の『Scalable Kubernetes Infrastructure for AI Platforms』、Ashok Srirama氏とSukirti Gupta氏の『Kubernetes for Generative AI Solutions』、Yogesh Raheja氏のオンデマンドコース『K8sGPT Essentials』をご覧ください。これらはすべてO'Reillyで提供されています。メンバーでない場合は、無料トライアルで開始できます。