亚马逊 SageMaker HyperPod 推出全局推理网关:跨区域和集群的单一端点
AWS 发布 SageMaker HyperPod Global Inference Gateway,这是一个托管端点,可以跨多个区域和集群路由推理请求。它根据关键值缓存利用率、队列深度、区域邻近度和错误率对集群进行评分,自动处理故障转移,并通过 AWS PrivateLink 使用 SigV4 和 IAM 进行认证。
来源详情
AI News Hub 持续跟踪 AWS Machine Learning Blog 的 AI 更新,并公开来源状态、授权边界、抓取方式和已发布文章。
Official cloud provider blog; confirm reuse terms before enabling full body display.
AWS 发布 SageMaker HyperPod Global Inference Gateway,这是一个托管端点,可以跨多个区域和集群路由推理请求。它根据关键值缓存利用率、队列深度、区域邻近度和错误率对集群进行评分,自动处理故障转移,并通过 AWS PrivateLink 使用 SigV4 和 IAM 进行认证。
AWS 将 AgentCore payments 扩展到 AWS Marketplace,使 AI 代理能够发现并购买支持 x402 的软件、API、数据和内容,并以美元结算到开发者的 AWS 账单,无需稳定币钱包或 API 密钥。
Amazon Bedrock AgentCore harness 现已基于开源 Strands harness 运行,提供推荐模型、面向任务的默认设置、自动提示缓存、主动上下文管理和新的内置工具。它还新增了生命周期钩子,可在代理循环的特定点执行确定性的允许或拒绝检查。
Amazon SageMaker HyperPod 新增增强可观测性功能,支持 EKS 和 Slurm 两种编排器,通过诊断摘要和性能分析能力,帮助用户更快定位 GPU 训练中的硬件、网络和主机层面问题,减少故障排查时间并提高昂贵加速器的利用率。
本文介绍了如何在 Amazon EKS 上使用开源的 NVIDIA Run:ai GPU 分片功能,通过自定义 Amazon Linux 2023 镜像、KAI Scheduler 和 GPU 分片 Operator,在单个 NVIDIA A10G GPU 上运行两个受内存限制的 Kubernetes Pod,并验证每个 Pod 的 GPU 内存契约、强制执行和指标。
Amazon SageMaker AI Serverless Model Customization现已支持全量微调(FFT)。本文探讨FFT在关键基准上何时优于LoRA,从权重矩阵的谱特性解释质量差距,提供基于实验的超参数调优指南,并展示如何开始使用。
Amazon Bedrock AgentCore Identity 现在支持私有证书颁发机构 (CA),使代理能够连接到使用私有 CA 的自托管身份提供商 (IdP)。本文介绍如何通过 AWS Private CA 为 IdP 签发证书、配置凭证提供程序以信任该 CA、轮换 CA 并保护证书安全。
Social Department 与 TrackIt、AWS 合作,基于 Amazon Bedrock 上的 TwelveLabs 模型和 Amazon OpenSearch Serverless,构建了 QuickSearch:通过单次操作查询,在大型视频库中找出可分享的场景、可引用的台词、可制成表情包的帧以及与趋势对齐的时刻。
本文介绍了一种经过测试的模式,用于在由中央网络团队拥有所有 VPC 并强制所有 VPC 间流量通过中央防火墙进行双向检查的企业环境中,将 Amazon Bedrock AgentCore Gateway 连接到私有 API 和 MCP 服务器。该模式将 VPC Lattice 资源网关放在网络账户中,使用自管理模式,并通过 AWS RAM 共享资源配置。