Auriko：LLMコールのトレーディングデスク

Aurikoは、元クオンツトレーダーによって構築された革新的なLLMコール最適化プラットフォームです。このプラットフォームは、各LLMプロバイダーを取引所と見なし、コストアービトラージエンジンを用いて複数の推論プロバイダー間で最適な経路を自動選択し、コストを大幅に削減します。Aurikoの強みは、クオンツトレードレベルのデータ処理とシグナル生成能力にあります。各プロバイダーのプロンプトキャッシングメカニズム、トークン価格、レイテンシ、信頼性などをリアルタイムで監視し、ユーザーのリクエストパターンに基づいて動的にルーティングを選択します。単一プロバイダーと比較して、平均30%のコスト削減を実現します。

Aurikoのルーティング決定はリクエスト送信前に行われます。リクエストが到着すると、システムは利用可能なルーティング候補セットを構築し、能力、予算、データポリシー、パラメータサポート、可用性などのハード制約を適用します。次に、ルーティングエンジンは各候補経路をコスト、レイテンシ、スループット、成功率でスコアリングし、ユーザーの戦略に基づいて最適なものを選択します。リクエストのパフォーマンスデータはルーティングにフィードバックされ、プロバイダーの健全性とパフォーマンスシグナルを生成し、将来のルーティング決定を調整するために使用されます。したがって、Aurikoの主な価値はリアルタイムルーティングであり、可観測性データを活用してルーターを時間の経過とともにスマートにします。

Aurikoの中核能力は、クオンツトレードグレードのデータパイプライン、シグナル生成エンジン、推論コストモデリングです。各推論プロバイダーのプロンプトキャッシングメカニズムを追跡し、ユーザーのリクエストパターンを推定し、プロバイダーとユーザーの両方のシグナルを考慮して推論コストをモデル化します。データパイプラインは、プロバイダーの健全性、レイテンシ、スループットに関するリアルタイムシグナルも生成します。モデルを頻繁に切り替えたり、複数のプロバイダーを使用するワークロードにおいて、Aurikoは顕著なコスト削減とパフォーマンス最適化を実現します。キャッシュ認識スケジューリングは特に重要であり、多くのチームがキャッシュの存在を知っていても最適化していないため、Aurikoの提供する価値は大きいと言えます。