Auriko：LLM呼叫的交易臺

Auriko 是一款創新的 LLM 呼叫最佳化平臺，由前量化交易員團隊開發。該平臺將各個 LLM 提供商視為交易場所，透過成本套利引擎在多個推理提供商之間自動選擇最優路徑，從而顯著降低呼叫成本。Auriko 的核心優勢在於其量化交易級別的資料處理和訊號生成能力。它即時監測各個提供商的提示快取機制、令牌價格、延遲和可靠性等指標，並結合使用者的請求模式進行動態路由選擇。與直接使用單一提供商相比，Auriko 平均可降低 30% 的成本。

Auriko 的路由決策是在請求傳送前進行的。當請求到達時，系統首先構建可用的路由候選集合，並應用硬性約束，如能力、預算、資料策略、引數支援和可用性。然後，路由引擎對每個候選路徑在成本、延遲、吞吐量和成功率方面進行評分，並根據使用者的策略選擇最佳路徑。請求效能資料會反饋到路由系統中，用於生成提供商健康和效能訊號，進而校準未來的路由決策。因此，Auriko 的主要價值在於即時路由，同時利用可觀測性資料使路由器隨著時間的推移變得更加智慧。

Auriko 的核心能力包括量化交易級別的資料管道、訊號生成引擎和推理成本建模。它跟蹤每個推理提供商的提示快取機制，估計使用者的請求模式，並綜合考慮提供商和使用者訊號來建模推理成本。資料管道還即時生成提供商健康、延遲和吞吐量的訊號。對於需要頻繁切換模型或使用多個提供商的工作負載，Auriko 能夠實現顯著的成本節約和效能最佳化。其快取感知排程功能尤其重要，因為許多團隊知道快取的存在，但並未圍繞它進行最佳化。Auriko 的推出為 AI 開發者提供了一種全新的成本管理方式，在保證質量的前提下最大化支出效率。