llm-chat-completions-server 0.1a0 发布

2026年7月30日，Simon Willison 发布了 llm-chat-completions-server 0.1a0 版本。这是一个针对 LLM 工具的新插件，旨在提供一个与 OpenAI Chat Completions API 兼容的本地服务端点。该插件是 LLM 生态系统的重要补充，允许用户将其本地安装的各种 LLM 模型（如 Qwen 3.5-4b 等）通过业界标准的 OpenAI 格式 API 暴露出来。

该插件的核心目标是测试 LLM 0.32rc1 中引入的内容可寻址日志（content-addressable logs）功能。这一新设计允许客户端在每次请求中传递完整的对话历史，而服务器通过哈希值对单个消息进行去重，从而避免重复存储。例如，用户可以通过 curl 发送包含多轮对话的请求，每次请求都会扩展之前的消息列表。这种设计非常适合需要长期对话记忆的应用场景，如聊天机器人和交互式问答系统。

安装该插件非常简单：首先使用 uv tool install llm --pre 安装预发布版的 LLM，然后运行 llm install llm-chat-completions-server，最后通过 llm chat-completions-server -p 9001 启动服务。服务器将在 localhost 的 9001 端口上运行，并暴露当前 LLM 配置中所有可用的模型（包括通过其他插件安装的模型）。这意味着用户可以即时访问从各种来源（如 Hugging Face、OpenAI 等）集成的模型。

有趣的是，整个插件的代码是由 GPT-5.6 Sol 自动生成的。据 Willison 称，Sol 非常了解 OpenAI Chat Completions API 的格式，因此能够高效地编写出这个功能完整的插件。这一项目不仅展示了 LLM 工具的新能力，也体现了 AI 辅助开发的巨大潜力。值得注意的是，Sol 是在没有人工干预的情况下生成了整个代码库，包括与 LLM 库的交互、HTTP 服务器的搭建以及 API 路由的实现。

从技术角度看，该插件使用的内容可寻址日志机制是 LLM 0.32rc1 的一个重要特性。它通过为每条消息生成唯一的哈希值来标识对话中的不同部分，从而允许客户端在连续的请求中只发送新增的消息，而不是完整的历史。这大大减少了网络传输的数据量，并简化了会话管理。例如，在典型的问答场景中，每次用户提问时，客户端只需要发送新的消息和之前消息的哈希引用，服务器即可自动重建完整的对话上下文。

总的来说，llm-chat-completions-server 的发布标志着 LLM 工具在互操作性方面迈出了重要一步。它不仅为开发者提供了一个便捷的本地测试环境，还展示了如何通过创新的日志设计来解决实际工程问题。随着 AI 驱动开发工具的不断进步，这类由模型自身生成的工具可能会变得越来越普遍。