AI News HubLIVE
站内改写2 分钟阅读

Show HN: 记录、回放并改进生产环境中的AI智能体

Kitaru(来る)是一个自托管、框架无关的自主智能体运行时,能够记录每次运行的每一步,支持回放调试、故障恢复、暂停恢复、版本化部署等,并提供内置UI。

来源Hacker News AI作者: htahir111

Kitaru(日语“来る”,意为“到来”)是一个全新的自托管、框架无关的自主智能体运行时,旨在帮助开发者在生产环境中记录、回放并改进AI智能体的行为。它由ZenML团队基于五年的生产编排经验构建,专门为自主智能体重构了编排原语(如栈、工件、血缘追踪)。

Kitaru 的核心理念是让开发者能够完全掌控智能体的执行生命周期。它记录每次运行的每一个步骤——包括每次模型调用、工具调用和决策——作为可回放的检查点(checkpoint)存储到对象存储中。这些检查点是类型化、版本化的工件,开发者可以逐步检查任何一次运行,跨运行对比工件差异,并精确追溯到产生不良输出的步骤。

在调试和测试方面,Kitaru 提供了强大的回放功能。你可以从任何检查点重新运行执行,并覆盖你想测试的参数:比如切换模型、更改参数、注入不同的工具输出,从而在部署变更之前看到会发生什么。此外,kitaru.llm() 跟踪每次调用的提示、响应、令牌数和延迟,使得比较不同模型运行的成本和效果变得简单。

生产环境中的韧性是 Kitaru 的另一大亮点。它支持崩溃恢复,在发生崩溃、Pod驱逐或超时时,无需从头重跑,修复bug后回放,已完成的检查点返回缓存输出,避免重复消耗令牌。kitaru.wait() 允许暂停流程并释放计算资源,几分钟、几小时甚至几天后通过人工、其他智能体、Webhook或CLI调用恢复。flow.deploy() 将流程冻结为不可变快照,消费者通过名称调用,打标签发布,重新打标签即可回滚。@checkpoint(runtime="isolated") 可将特定步骤隔离在独立的Pod或作业中运行。

Kitaru 采用 Python 优先的设计,无需学习新的图 DSL。开发者只需使用两个装饰器(@flow@checkpoint)和少量工具函数即可。示例代码如下:

from kitaru import checkpoint, flow

@checkpoint
def research(topic: str) -> str:
    return do_research(topic)

@checkpoint
def write_draft(research: str) -> str:
    return generate_draft(research)

@flow
def writing_agent(topic: str) -> str:
    data = research(topic)
    return write_draft(data)

result = writing_agent.run("quantum computing").wait()

Kitaru 可以轻松与现有智能体 SDK 集成。它支持 PydanticAI、OpenAI Agents SDK、Anthropic Agent SDK 以及纯 Python 代码。例如,使用 KitaruAgent 包装现有的 PydanticAI 代理,无需重写。

部署方面,Kitaru 完全自托管。只需一个服务器,即可在本地、Kubernetes、GCP、AWS 或 Azure 上运行。工件存储在自己的 S3/GCS/Azure Blob 存储桶中,没有强制性的 SaaS 控制平面。自带的 UI 让所有执行从第一天起就具有可观测性。

快速入门非常简单:通过 pip install kitaruuv pip install kitaru 安装,运行 kitaru init 初始化项目,然后编写第一个流程并执行。还可以通过 kitaru login 连接远程服务器或启动本地仪表板。

Kitaru 的架构清晰分层:模型层(LLM本身)、工具层(提示、工具、模型循环、框架选择)、运行时层(Kitaru)和平台层(认证、授权、可观测性等)。Kitaru 占据运行时层,定义行为的是上层的工具层和下层的平台层,它提供执行记录和回放循环。

目前 Kitaru 已发布到 v0.19.0,拥有 197 颗星和 13 个分支,采用 Apache 2.0 许可证。对于构建智能体平台的团队来说,Kitaru 提供了他们原本需要自行构建的执行层,而无需强制应用团队使用统一的工具层。