使用最佳執行將LLM成本降低50%

Ship是一種新型API端點，聲稱能以一半的價格提供與用户當前使用模型無法區分的輸出。用户只需將模型名稱從"model=..."替換為"model=ship-like/..."，即可立即節省50%的成本。Ship承擔了單個請求執行成本可能更高的風險，因此用户既可以利用節省的成本減少支出，也可以在相同預算下通過使用更智能的模型來提高質量。

Ship的核心技術是推理時優化，並附帶兩個關鍵保證：能力等價和行為等價。能力等價意味着任何原模型能夠解決的問題，Ship也一定能解決；行為等價則意味着用户無需更改提示詞即可使用Ship，所有超出能力範圍的行為（如輸出形狀、平均工具調用次數、指令遵循等）保持一致。

通過定義和測量相對於參考模型的質量，Ship將模型質量轉化為可合同的SLA。Ship是首個在價格和可用性承諾之外還提供質量SLA的端點。這篇博文詳細闡述了Ship保持能力等價和行為等價的證據、支撐Ship的推理時優化擴展技術、用户使用Ship構建的應用以及其質量SLA的具體內容。