精益推理：将精益制造原则应用于人工智能

要点

• AI工程中过度使用前沿模型、RAG上下文膨胀、顺序阻塞、输出缺陷等是常见的推理浪费。
• 精益推理原则包括即时上下文、标准化工作、节拍时间预算和提示缓存。
• 通过路由模型、并行工具执行和结构化输出，一个仓库分析代理的成本降低了13倍，延迟改善了3.3倍。