分散KVキャッシュAgent SkillでセルフホストLLMのコストとレイテンシを削減
AWSはAgent Toolkit for AWSに分散KVキャッシュスキルを追加した。コーディングエージェントからAmazon ElastiCacheを使った共有KVキャッシュを評価・構築でき、推論コストを最大40%、最初のトークンまでの時間を最大80%削減できる。
ソース詳細
AI News Hub は AWS Machine Learning Blog の AI 更新を追跡し、ソース状態、利用範囲、収集方法、公開記事を表示します。
Official cloud provider blog; confirm reuse terms before enabling full body display.
AWSはAgent Toolkit for AWSに分散KVキャッシュスキルを追加した。コーディングエージェントからAmazon ElastiCacheを使った共有KVキャッシュを評価・構築でき、推論コストを最大40%、最初のトークンまでの時間を最大80%削減できる。
AWS は SageMaker HyperPod Global Inference Gateway を発表しました。これは、複数のリージョンとクラスターにわたって推論リクエストをルーティングするマネージドエンドポイントです。KV キャッシュ使用率、キューの深さ、リージョン近接性、エラー率に基づいてクラスターをスコアリングし、自動フェイルオーバーを処理し、AWS PrivateLink を介した SigV4 と IAM による認証を行います。
AWS は Amazon Textract Insights の一般提供を発表した。必要なフィールドを自然言語で記述し、単一ドキュメントまたは混在パケットを送信すると、信頼度スコアとページ単位の根拠が付いた構造化結果をモデル学習なしで取得できる。
Standard Bank GroupはAWS Professional Servicesと協力し、自社のAWSアカウント内に自動評価システムを構築しました。Amazon Bedrock上のLLM-as-a-judgeを用いて、各生成AIユースケースを国際AI標準と銀行自身のポリシーに照らして評価し、リスク委員会に一貫性のある追跡可能な証拠を提供します。従来2週間かかっていた手動レビューを約2時間に短縮しました。
AWS は AgentCore payments を AWS Marketplace に拡張し、AI エージェントが x402 対応のソフトウェア、API、データ、コンテンツを発見・購入し、開発者の AWS 請求書に米ドルで請求できるようにしました。ステーブルコインウォレットや API キーは不要です。
BMWグループのR&D部門は12,500人以上の開発者と約5億行の車両ソフトウェアコードを抱え、1,300以上のマイクロサービスで2,400万台の車両にサービスを提供している。数百のエージェントを数千の開発者に提供する規模で、BMWは5つの相互に連携する実践を共有する: proactiveガバナンス、継続的な可観測性と評価、焦点を絞ったコンポジション、専門化、インフラストラクチャ・アズ・コードによるコード化である。
AmazonとAWSは、Seller Centralのリアルタイムな販売・在庫・広告データに会話形式でアクセスできるSelling PartnerプラグインをAWS Quick向けに公開しました。対象の販売者は2026年12月31日までに12か月間のAWS Quick Plusを無料で利用でき、委任ユーザー10名まで追加可能です。
Amazon Bedrock AgentCore harness はオープンソースの Strands harness 上で動作するようになり、推奨モデル、タスク指向のデフォルト、自動プロンプトキャッシュ、プロアクティブなコンテキスト管理、新しい組み込みツールを提供します。また、ライフサイクルフックにより、エージェントループの定義済みポイントで決定論的な許可または拒否のチェックを実行できます。
企業が Amazon Bedrock で AI を拡大するにつれ、トークン単価が下がってもトークン支出は増加し得る。本稿では、6 つの組み合わせ可能な最適化レバーを紹介し、アクセンチュアが 4 つのクライアント案件でどのように適用したかを示し、自社ワークロードで AI トークン支出を削減する順序を推奨する。
Amazon SageMaker HyperPod は、GPU トレーニングの問題を迅速に診断するための強化された可観測性を提供開始しました。EKS と Slurm の両オーケストレーター上のトレーニングワークロードに対し、診断およびプロファイリング機能を統合し、GPU、ネットワーク、ホスト層の問題を特定します。
本記事では、オープンソースの NVIDIA Run:ai GPU フラクショニングを Amazon EKS で使用し、カスタム Amazon Linux 2023 イメージ、KAI Scheduler、GPU フラクショニング Operator を構築して、単一の NVIDIA A10G GPU 上でメモリ制限された 2 つの Kubernetes Pod を実行し、Pod ごとの GPU メモリ契約、強制、メトリクスを検証する方法を紹介します。
Amazon SageMaker AI Serverless Model Customizationが全量ファインチューニング(FFT)をサポートしました。本記事では、FFTが主要ベンチマークでLoRAを上回る場面を探り、品質差の背後にあるモデル重み行列のスペクトル特性を調べ、実用的なハイパーパラメータチューニングガイドラインを共有し、始め方を示します。
Exaのニューラル検索エンジンは自社開発のベクトルデータベースに支えられており、数十億のウェブ文書を埋め込む際の単位経済性がビジネスを左右します。この記事では、ExaがカスタムNKIカーネルを用いてAWS Neuronハードウェア(Inferentia2とTrainium2)上の埋め込み推論を最適化し、100万文書あたりのパフォーマンスとコストで47%の改善を達成した方法を紹介します。
SageMaker HyperPod は、マルチノードトレーニング検証、Kubernetes リソースモニタリングエージェント、ハングジョブ検出という3つの新機能を追加し、サイレントデータ破損、ハングジョブ、クラスタレベルの障害を早期に検出してトレーニングのグッドプットを向上させます。
Amazon SageMaker JumpStart モデルリーダーボードは、SageMaker Studio 内で 70 以上の基盤モデルを品質、速度、コストで並べて比較できます。リーダーボードの表示内容、AWS のベンチマーク方法、候補リストからモデルをデプロイするまでの流れを解説します。
Amazon Aurora PostgreSQL、pgvector、Amazon Bedrock Guardrails を使用して、RAG チャットボットの回答を追跡可能にし、ソース、スコア、ガードレールトレースを SQL でログに記録する方法を学びます。
Amazon Bedrock AgentCore Identity がプライベート認証局 (CA) をサポートし、エージェントがプライベート CA を使用するセルフホスト型 ID プロバイダー (IdP) に接続できるようになりました。この記事では、AWS Private CA で IdP 証明書を発行し、資格情報プロバイダーを設定して信頼し、CA をローテーションし、証明書を保護する方法を説明します。
エンターテインメントマーケティング向けAIオペレーティングシステムのSocial Departmentは、TrackItとAWSと協力してQuickSearchを構築した。これは、大規模な動画ライブラリ全体で共有可能なシーン、引用可能なセリフ、ミーム化可能なフレーム、トレンドに沿った瞬間を表面化する単一アクションクエリであり、Amazon Bedrock上のTwelveLabsモデルとAmazon OpenSearch Serverlessを使用している。
この投稿では、中央のネットワークチームがすべての VPC を所有し、中央ファイアウォールがすべての VPC 間トラフィックを双方向に検査する企業環境において、Amazon Bedrock AgentCore Gateway をプライベート API および MCP サーバーに接続するためのテスト済みパターンを紹介します。このパターンでは、VPC Lattice リソースゲートウェイをネットワークアカウントに配置し、セルフマネージドモードを使用し、AWS RAM を介してリソース設定を共有します。