Auriko：LLM调用的交易台

Auriko 是一款创新的 LLM 调用优化平台，由前量化交易员团队开发。该平台将各个 LLM 提供商视为交易场所，通过成本套利引擎在多个推理提供商之间自动选择最优路径，从而显著降低调用成本。Auriko 的核心优势在于其量化交易级别的数据处理和信号生成能力。它实时监测各个提供商的提示缓存机制、令牌价格、延迟和可靠性等指标，并结合用户的请求模式进行动态路由选择。与直接使用单一提供商相比，Auriko 平均可降低 30% 的成本。

Auriko 的路由决策是在请求发送前进行的。当请求到达时，系统首先构建可用的路由候选集合，并应用硬性约束，如能力、预算、数据策略、参数支持和可用性。然后，路由引擎对每个候选路径在成本、延迟、吞吐量和成功率方面进行评分，并根据用户的策略选择最佳路径。请求性能数据会反馈到路由系统中，用于生成提供商健康和性能信号，进而校准未来的路由决策。因此，Auriko 的主要价值在于实时路由，同时利用可观测性数据使路由器随着时间的推移变得更加智能。

Auriko 的核心能力包括量化交易级别的数据管道、信号生成引擎和推理成本建模。它跟踪每个推理提供商的提示缓存机制，估计用户的请求模式，并综合考虑提供商和用户信号来建模推理成本。数据管道还实时生成提供商健康、延迟和吞吐量的信号。对于需要频繁切换模型或使用多个提供商的工作负载，Auriko 能够实现显著的成本节约和性能优化。其缓存感知调度功能尤其重要，因为许多团队知道缓存的存在，但并未围绕它进行优化。Auriko 的推出为 AI 开发者提供了一种全新的成本管理方式，在保证质量的前提下最大化支出效率。