Auriko：LLM調用的交易台

Auriko 是一款創新的 LLM 調用優化平台，由前量化交易員團隊開發。該平台將各個 LLM 提供商視為交易場所，通過成本套利引擎在多個推理提供商之間自動選擇最優路徑，從而顯著降低調用成本。Auriko 的核心優勢在於其量化交易級別的數據處理和信號生成能力。它實時監測各個提供商的提示緩存機制、令牌價格、延遲和可靠性等指標，並結合用户的請求模式進行動態路由選擇。與直接使用單一提供商相比，Auriko 平均可降低 30% 的成本。

Auriko 的路由決策是在請求發送前進行的。當請求到達時，系統首先構建可用的路由候選集合，並應用硬性約束，如能力、預算、數據策略、參數支持和可用性。然後，路由引擎對每個候選路徑在成本、延遲、吞吐量和成功率方面進行評分，並根據用户的策略選擇最佳路徑。請求性能數據會反饋到路由系統中，用於生成提供商健康和性能信號，進而校準未來的路由決策。因此，Auriko 的主要價值在於實時路由，同時利用可觀測性數據使路由器隨着時間的推移變得更加智能。

Auriko 的核心能力包括量化交易級別的數據管道、信號生成引擎和推理成本建模。它跟蹤每個推理提供商的提示緩存機制，估計用户的請求模式，並綜合考慮提供商和用户信號來建模推理成本。數據管道還實時生成提供商健康、延遲和吞吐量的信號。對於需要頻繁切換模型或使用多個提供商的工作負載，Auriko 能夠實現顯著的成本節約和性能優化。其緩存感知調度功能尤其重要，因為許多團隊知道緩存的存在，但並未圍繞它進行優化。Auriko 的推出為 AI 開發者提供了一種全新的成本管理方式，在保證質量的前提下最大化支出效率。