Show HN: 記錄、回放並改進生產環境中的AI智慧體

Kitaru（日語“來る”，意為“到來”）是一個全新的自託管、框架無關的自主智慧體執行時，旨在幫助開發者在生產環境中記錄、回放並改進AI智慧體的行為。它由ZenML團隊基於五年的生產編排經驗構建，專門為自主智慧體重構了編排原語（如棧、工件、血緣追蹤）。

Kitaru 的核心理念是讓開發者能夠完全掌控智慧體的執行生命週期。它記錄每次執行的每一個步驟——包括每次模型呼叫、工具呼叫和決策——作為可回放的檢查點（checkpoint）儲存到物件儲存中。這些檢查點是型別化、版本化的工件，開發者可以逐步檢查任何一次執行，跨執行對比工件差異，並精確追溯到產生不良輸出的步驟。

在除錯和測試方面，Kitaru 提供了強大的回放功能。你可以從任何檢查點重新執行執行，並覆蓋你想測試的引數：比如切換模型、更改引數、注入不同的工具輸出，從而在部署變更之前看到會發生什麼。此外，kitaru.llm() 跟蹤每次呼叫的提示、響應、令牌數和延遲，使得比較不同模型執行的成本和效果變得簡單。

生產環境中的韌性是 Kitaru 的另一大亮點。它支援崩潰恢復，在發生崩潰、Pod驅逐或超時時，無需從頭重跑，修復bug後回放，已完成的檢查點返回快取輸出，避免重複消耗令牌。kitaru.wait() 允許暫停流程並釋放計算資源，幾分鐘、幾小時甚至幾天後透過人工、其他智慧體、Webhook或CLI呼叫恢復。flow.deploy() 將流程凍結為不可變快照，消費者透過名稱呼叫，打標籤釋出，重新打標籤即可回滾。@checkpoint(runtime="isolated") 可將特定步驟隔離在獨立的Pod或作業中執行。

Kitaru 採用 Python 優先的設計，無需學習新的圖 DSL。開發者只需使用兩個裝飾器（@flow 和 @checkpoint）和少量工具函式即可。示例程式碼如下：

from kitaru import checkpoint, flow

@checkpoint
def research(topic: str) -> str:
    return do_research(topic)

@checkpoint
def write_draft(research: str) -> str:
    return generate_draft(research)

@flow
def writing_agent(topic: str) -> str:
    data = research(topic)
    return write_draft(data)

result = writing_agent.run("quantum computing").wait()

Kitaru 可以輕鬆與現有智慧體 SDK 整合。它支援 PydanticAI、OpenAI Agents SDK、Anthropic Agent SDK 以及純 Python 程式碼。例如，使用 KitaruAgent 包裝現有的 PydanticAI 代理，無需重寫。

部署方面，Kitaru 完全自託管。只需一個伺服器，即可在本地、Kubernetes、GCP、AWS 或 Azure 上執行。工件儲存在自己的 S3/GCS/Azure Blob 儲存桶中，沒有強制性的 SaaS 控制平面。自帶的 UI 讓所有執行從第一天起就具有可觀測性。

快速入門非常簡單：透過 pip install kitaru 或 uv pip install kitaru 安裝，執行 kitaru init 初始化專案，然後編寫第一個流程並執行。還可以透過 kitaru login 連線遠端伺服器或啟動本地儀表板。

Kitaru 的架構清晰分層：模型層（LLM本身）、工具層（提示、工具、模型迴圈、框架選擇）、執行時層（Kitaru）和平臺層（認證、授權、可觀測性等）。Kitaru 佔據執行時層，定義行為的是上層的工具層和下層的平臺層，它提供執行記錄和回放迴圈。

目前 Kitaru 已釋出到 v0.19.0，擁有 197 顆星和 13 個分支，採用 Apache 2.0 許可證。對於構建智慧體平臺的團隊來說，Kitaru 提供了他們原本需要自行構建的執行層，而無需強制應用團隊使用統一的工具層。