Upbound开源Modelplane以优化推理集群管理

Upbound Inc. 今天发布了Modelplane，这是一个用于管理人工智能推理集群的新型开源工具。该工具基于其之前的Crossplane项目，旨在简化跨多个云平台的推理工作负载分布，自动分配资源，并通过分布式缓存减少延迟。