llm-chat-completions-server 0.1a0 發佈

2026年7月30日，Simon Willison 發佈了 llm-chat-completions-server 0.1a0 版本。這是一個針對 LLM 工具的新插件，旨在提供一個與 OpenAI Chat Completions API 兼容的本地服務端點。該插件是 LLM 生態系統的重要補充，允許用户將其本地安裝的各種 LLM 模型（如 Qwen 3.5-4b 等）通過業界標準的 OpenAI 格式 API 暴露出來。

該插件的核心目標是測試 LLM 0.32rc1 中引入的內容可尋址日誌（content-addressable logs）功能。這一新設計允許客户端在每次請求中傳遞完整的對話歷史，而服務器通過哈希值對單個消息進行去重，從而避免重複存儲。例如，用户可以通過 curl 發送包含多輪對話的請求，每次請求都會擴展之前的消息列表。這種設計非常適合需要長期對話記憶的應用場景，如聊天機器人和交互式問答系統。

安裝該插件非常簡單：首先使用 uv tool install llm --pre 安裝預發佈版的 LLM，然後運行 llm install llm-chat-completions-server，最後通過 llm chat-completions-server -p 9001 啓動服務。服務器將在 localhost 的 9001 端口上運行，並暴露當前 LLM 配置中所有可用的模型（包括通過其他插件安裝的模型）。這意味着用户可以即時訪問從各種來源（如 Hugging Face、OpenAI 等）集成的模型。

有趣的是，整個插件的代碼是由 GPT-5.6 Sol 自動生成的。據 Willison 稱，Sol 非常瞭解 OpenAI Chat Completions API 的格式，因此能夠高效地編寫出這個功能完整的插件。這一項目不僅展示了 LLM 工具的新能力，也體現了 AI 輔助開發的巨大潛力。值得注意的是，Sol 是在沒有人工干預的情況下生成了整個代碼庫，包括與 LLM 庫的交互、HTTP 服務器的搭建以及 API 路由的實現。

從技術角度看，該插件使用的內容可尋址日誌機制是 LLM 0.32rc1 的一個重要特性。它通過為每條消息生成唯一的哈希值來標識對話中的不同部分，從而允許客户端在連續的請求中只發送新增的消息，而不是完整的歷史。這大大減少了網絡傳輸的數據量，並簡化了會話管理。例如，在典型的問答場景中，每次用户提問時，客户端只需要發送新的消息和之前消息的哈希引用，服務器即可自動重建完整的對話上下文。

總的來説，llm-chat-completions-server 的發佈標誌着 LLM 工具在互操作性方面邁出了重要一步。它不僅為開發者提供了一個便捷的本地測試環境，還展示瞭如何通過創新的日誌設計來解決實際工程問題。隨着 AI 驅動開發工具的不斷進步，這類由模型自身生成的工具可能會變得越來越普遍。