使用最佳執行將LLM成本降低50%

Ship是一種新型API端點，聲稱能以一半的價格提供與使用者當前使用模型無法區分的輸出。使用者只需將模型名稱從"model=..."替換為"model=ship-like/..."，即可立即節省50%的成本。Ship承擔了單個請求執行成本可能更高的風險，因此使用者既可以利用節省的成本減少支出，也可以在相同預算下透過使用更智慧的模型來提高質量。

Ship的核心技術是推理時最佳化，並附帶兩個關鍵保證：能力等價和行為等價。能力等價意味著任何原模型能夠解決的問題，Ship也一定能解決；行為等價則意味著使用者無需更改提示詞即可使用Ship，所有超出能力範圍的行為（如輸出形狀、平均工具呼叫次數、指令遵循等）保持一致。

透過定義和測量相對於參考模型的質量，Ship將模型質量轉化為可合同的SLA。Ship是首個在價格和可用性承諾之外還提供質量SLA的端點。這篇博文詳細闡述了Ship保持能力等價和行為等價的證據、支撐Ship的推理時最佳化擴充套件技術、使用者使用Ship構建的應用以及其質量SLA的具體內容。