インテリジェンスのためのベストエグゼキューションでLLMコストを50%削減

Shipは、ユーザーが現在使用しているモデルと区別できない出力を半額で提供する新しいAPIエンドポイントです。モデル名を「model=...」から「model=ship-like/...」に置き換えるだけで、即座にコストが50%削減されます。Shipは個々のリクエストの実行コストが高くなるリスクを負うため、ユーザーはコスト削減か、同じ予算でより高精度なモデルの利用かの選択が可能になります。

Shipの核となる技術は推論時最適化であり、能力等価と行動等価の2つの保証を伴います。能力等価とは、元のモデルが解決できる問題はShipも必ず解決できることを意味します。行動等価とは、Shipの利用開始時にプロンプトを変更する必要がなく、出力の形状、平均ツールコール数、指示追従など、能力以外のすべての動作が同じままであることを保証します。

参照モデルに対する品質を定義・測定することで、Shipはモデル品質を契約可能なSLAに変換しました。Shipは、価格と可用性のコミットメントに加えて品質SLAを提供する初めてのエンドポイントです。このブログ記事では、Shipが能力等価と行動等価を維持する証拠、Shipを支える推論時最適化の拡張技術、Shipを使って構築されたアプリケーション、そして品質SLAの詳細について説明しています。