AI News HubLIVE
サイト内リライト2 分で読了

Ramp AI ルーター:リクエストごとに最適なモデルを選び、コストを30%削減

Ramp は AI ルーター(Router)を公開しました。各リクエストに最適な言語モデルを自動選択し、性能を維持しながら LLM コストを 30% 削減します。社内で 100 以上の AI ユースケースに使用されてきたツールが、一般公開されました。

ソースHacker News AI著者: robbiet480

Ramp は、AI ルーター(Router)を正式にリリースしました。このツールは、各リクエストに最適な言語モデルを自動的に選択することで、社内の 100 以上の AI ユースケースを管理し、LLM コストを 30% 削減しながら、機能のスマート化と高速化を実現しています。現在、このツールは一般公開されています。

ルーターは、リクエストの複雑さ、レイテンシ要件、コスト制約を分析し、複数の候補モデルから最適なものを選びます。例えば、構造化データ抽出タスク(請求書からのライン項目抽出など)には高スループット向けモデルを、複雑な推論が必要な契約更新リスクのレビューには高精度モデルをルーティングします。対応モデルには、Google の Gemini 3 Flash、Gemini 3.5 Flash、Gemini 3.1 Pro、Gemini 3.1 Flash Lite、Anthropic の Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 4.8、Claude Fable 5、xAI の Grok 4.5 などが含まれます。Router は新しいモデルを継続的に評価し、品質基準をクリアした最安値のモデルに自動的にリクエストを送信します。

ルーティング機能に加え、Router はスマートキャッシュ、プロンプト圧縮、セマンティック属性付与、Flex vs Standard ルーティングなど 100 以上の最適化を統合し、コストとレイテンシをさらに削減します。Ramp は、ルーターの信頼性が 99.999% であり、毎月 2.75 兆以上のトークンを処理し、追加レイテンシは約 30 ミリ秒と発表しています。

さらに、Ramp はトークン支出管理ツールを提供し、モデル、製品、チーム、プロジェクトごとに AI 呼び出しのコストを追跡できます。これにより、企業は AI 予算をより適切に管理できます。例として、Router と支出管理により総支出が 32% 削減され、100 万トークンあたりの価格が 9 ドルに低下したことが示されています。

Ramp の AI ルーターは数行のコードで統合可能で、開発者は統一 API エンドポイント(curl 例など)を通じて複数のクローズドモデルとオープンモデルを呼び出せます。ルーターはモデル選択、フォールバック、プロバイダ更新を自動処理するため、アプリケーションを変更せずに新しいモデルの恩恵を受けられます。

Ramp の CTO Rahul Sengottuvelu 氏は、「Router により LLM コストが 30% 削減され、機能がよりスマートかつ高速になった」と述べています。このツールの公開により、多くの企業が AI ワークロードのコストパフォーマンスを最適化できるようになるでしょう。