Show HN: AgentState – AI代理的開源彈性與緩存代理

AgentState是一個開源項目，旨在解決AI代理在長時間運行任務中因崩潰而浪費token的問題。它作為一個輕量級代理，位於您的LLM客户端和實際API之間，自動攔截所有完成請求，並在SQLite數據庫中檢查點執行狀態。當代理在步驟87處失敗時，您無需從頭開始，只需從最後一個檢查點恢復即可。

該項目提供多種集成方式：一是通過Python SDK的AgentStateOpenAI客户端，只需一行代碼即可自動路由所有請求；二是針對LangChain和CrewAI的框架封裝；三是支持任何OpenAI兼容的客户端，只需將baseURL指向AgentState代理即可。此外，代理還支持自定義頭部實現會話追蹤、步驟編號、人類審批觸發以及回退模型切換。

AgentState的內置儀表板提供完整的會話管理，包括查看歷史、暫掛審批、導出微調數據集等。測試演示展示了彈性恢復（模擬崩潰後通過緩存快速恢復）和人類在環審批（敏感操作暫停直至批准）功能。該項目採用MIT許可證，歡迎社區貢獻。

詳細來説，AgentState的架構非常簡潔：它作為一箇中間件，捕獲所有LLM和工具調用請求，將每次調用的狀態（包括輸入、輸出、時間戳等）記錄到SQLite數據庫中。如果代理在某個步驟崩潰，重新運行時可以從最後一次成功記錄的狀態繼續執行，避免了重複計算。此外，AgentState還提供了緩存機制，當相同的請求再次出現時，可以直接返回緩存結果，進一步節省token和成本。對於需要人工審核的場景，AgentState支持HITL審批網關：當代理執行到敏感操作（如刪除數據、發送郵件）時，會暫停執行並等待儀表板上的審批結果，只有獲得批准後才會繼續。在API層面，AgentState兼容OpenAI的聊天完成端點，因此可以輕鬆替換現有的OpenAI客户端。它還提供了管理API，用於列出會話、查看詳情、回滾到指定步驟、處理待審批項以及導出微調數據集。整體而言，AgentState通過簡單的集成和強大的功能，為AI代理的可靠性和成本優化提供了實用的解決方案。