Show HN:Thaw – 运行中大语言模型的 Git 分支(分叉代理,跳过预填充)
Thaw 是一个开源工具,能够将运行中的大语言模型(LLM)会话分叉到多个分支,跳过昂贵的预填充阶段,实现 AI 代理的并行探索。在 H100 GPU 上,它实现了次秒级的分叉时间(中位数 0.88 秒),相比之下冷启动需要约 340 秒。Thaw 支持 vLLM 和 SGLang,使用场景包括代理分支、强化学习训练、并行编码代理和会话迁移。
Show HN:Thaw – 运行中大语言模型的 Git 分支(分叉代理,跳过预填充)
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。