使用最佳执行将LLM成本降低50%

Ship是一种新型API端点，声称能以一半的价格提供与用户当前使用模型无法区分的输出。用户只需将模型名称从"model=..."替换为"model=ship-like/..."，即可立即节省50%的成本。Ship承担了单个请求执行成本可能更高的风险，因此用户既可以利用节省的成本减少支出，也可以在相同预算下通过使用更智能的模型来提高质量。

Ship的核心技术是推理时优化，并附带两个关键保证：能力等价和行为等价。能力等价意味着任何原模型能够解决的问题，Ship也一定能解决；行为等价则意味着用户无需更改提示词即可使用Ship，所有超出能力范围的行为（如输出形状、平均工具调用次数、指令遵循等）保持一致。

通过定义和测量相对于参考模型的质量，Ship将模型质量转化为可合同的SLA。Ship是首个在价格和可用性承诺之外还提供质量SLA的端点。这篇博文详细阐述了Ship保持能力等价和行为等价的证据、支撑Ship的推理时优化扩展技术、用户使用Ship构建的应用以及其质量SLA的具体内容。