Show HN: AgentState – AI代理的開源彈性與快取代理

AgentState是一個開源專案，旨在解決AI代理在長時間執行任務中因崩潰而浪費token的問題。它作為一個輕量級代理，位於您的LLM客戶端和實際API之間，自動攔截所有完成請求，並在SQLite資料庫中檢查點執行狀態。當代理在步驟87處失敗時，您無需從頭開始，只需從最後一個檢查點恢復即可。

該專案提供多種整合方式：一是透過Python SDK的AgentStateOpenAI客戶端，只需一行程式碼即可自動路由所有請求；二是針對LangChain和CrewAI的框架封裝；三是支援任何OpenAI相容的客戶端，只需將baseURL指向AgentState代理即可。此外，代理還支援自定義頭部實現會話追蹤、步驟編號、人類審批觸發以及回退模型切換。

AgentState的內建儀表板提供完整的會話管理，包括檢視歷史、暫掛審批、匯出微調資料集等。測試演示展示了彈性恢復（模擬崩潰後透過快取快速恢復）和人類在環審批（敏感操作暫停直至批准）功能。該專案採用MIT許可證，歡迎社群貢獻。

詳細來說，AgentState的架構非常簡潔：它作為一箇中介軟體，捕獲所有LLM和工具呼叫請求，將每次呼叫的狀態（包括輸入、輸出、時間戳等）記錄到SQLite資料庫中。如果代理在某個步驟崩潰，重新執行時可以從最後一次成功記錄的狀態繼續執行，避免了重複計算。此外，AgentState還提供了快取機制，當相同的請求再次出現時，可以直接返回快取結果，進一步節省token和成本。對於需要人工稽核的場景，AgentState支援HITL審批閘道器：當代理執行到敏感操作（如刪除資料、傳送郵件）時，會暫停執行並等待儀表板上的審批結果，只有獲得批准後才會繼續。在API層面，AgentState相容OpenAI的聊天完成端點，因此可以輕鬆替換現有的OpenAI客戶端。它還提供了管理API，用於列出會話、檢視詳情、回滾到指定步驟、處理待審批項以及匯出微調資料集。整體而言，AgentState透過簡單的整合和強大的功能，為AI代理的可靠性和成本最佳化提供了實用的解決方案。