每一个AI助手功能都是一个缓存失效面

本文作者李亚飞，OpenClacky（一个用Ruby编写的开源AI助手）的创始人，分享了在构建具备技能、记忆、子助手、浏览器自动化、动态模型切换和长时间运行的会话等功能的AI助手时，遇到的缓存问题。经过三代架构演进，他们总结出七个工程决策，使缓存命中率达到90%以上。文章详细介绍了前两代架构（RAG和多智能体协调）的失败原因，以及第三代架构中的三个关键决策：双缓存标记、冻结系统提示和单一元工具。