LLM服务公平性

要点

• 多租户LLM平台面临“吵闹邻居”问题，一个租户的流量激增会影响其他租户。
• Cohere采用速率限制器、性能层级、赤字轮询（DRR）和优先级选择器四层机制实现公平调度。
• DRR算法通过请求预算或令牌预算确保租户间的公平性，支持请求级和令牌级两种预算模型。
• 该功能已面向所有Cohere SaaS API和AWS市场部署的客户启用。