llm-chat-completions-server 0.1a0 釋出

2026年7月30日，Simon Willison 釋出了 llm-chat-completions-server 0.1a0 版本。這是一個針對 LLM 工具的新外掛，旨在提供一個與 OpenAI Chat Completions API 相容的本地服務端點。該外掛是 LLM 生態系統的重要補充，允許使用者將其本地安裝的各種 LLM 模型（如 Qwen 3.5-4b 等）透過業界標準的 OpenAI 格式 API 暴露出來。

該外掛的核心目標是測試 LLM 0.32rc1 中引入的內容可定址日誌（content-addressable logs）功能。這一新設計允許客戶端在每次請求中傳遞完整的對話歷史，而伺服器透過雜湊值對單個訊息進行去重，從而避免重複儲存。例如，使用者可以透過 curl 傳送包含多輪對話的請求，每次請求都會擴充套件之前的訊息列表。這種設計非常適合需要長期對話記憶的應用場景，如聊天機器人和互動式問答系統。

安裝該外掛非常簡單：首先使用 uv tool install llm --pre 安裝預釋出版的 LLM，然後執行 llm install llm-chat-completions-server，最後透過 llm chat-completions-server -p 9001 啟動服務。伺服器將在 localhost 的 9001 埠上執行，並暴露當前 LLM 配置中所有可用的模型（包括透過其他外掛安裝的模型）。這意味著使用者可以即時訪問從各種來源（如 Hugging Face、OpenAI 等）整合的模型。

有趣的是，整個外掛的程式碼是由 GPT-5.6 Sol 自動生成的。據 Willison 稱，Sol 非常瞭解 OpenAI Chat Completions API 的格式，因此能夠高效地編寫出這個功能完整的外掛。這一專案不僅展示了 LLM 工具的新能力，也體現了 AI 輔助開發的巨大潛力。值得注意的是，Sol 是在沒有人工干預的情況下生成了整個程式碼庫，包括與 LLM 庫的互動、HTTP 伺服器的搭建以及 API 路由的實現。

從技術角度看，該外掛使用的內容可定址日誌機制是 LLM 0.32rc1 的一個重要特性。它透過為每條訊息生成唯一的雜湊值來標識對話中的不同部分，從而允許客戶端在連續的請求中只傳送新增的訊息，而不是完整的歷史。這大大減少了網路傳輸的資料量，並簡化了會話管理。例如，在典型的問答場景中，每次使用者提問時，客戶端只需要傳送新的訊息和之前訊息的雜湊引用，伺服器即可自動重建完整的對話上下文。

總的來說，llm-chat-completions-server 的釋出標誌著 LLM 工具在互操作性方面邁出了重要一步。它不僅為開發者提供了一個便捷的本地測試環境，還展示瞭如何透過創新的日誌設計來解決實際工程問題。隨著 AI 驅動開發工具的不斷進步，這類由模型自身生成的工具可能會變得越來越普遍。