開源 Atuin AI 伺服器

Atuin AI 是一個專注於終端場景的快速 AI 代理，它直接執行在 shell 中，啟動迅速，並配備了完成終端工作所需的各類代理工具。Atuin 為使用者提供了慷慨的免費使用額度，並且不會儲存使用者的 AI 對話記錄。不過，團隊也意識到，部分使用者希望對資料有更嚴格的控制，尤其是那些源自終端使用的資料。為此，Atuin 決定將 Atuin AI 伺服器開源。

Atuin AI 伺服器現已釋出在 GitHub 上的 atuinsh/atuin-ai-server 倉庫中。它基於 atuinsh/atuin-ai-core 構建，而後者正是生產環境 Atuin AI 伺服器所使用的同一套庫。目前，Atuin AI 伺服器支援任何相容 OpenAI 的 chat completions 風格端點。對於本地模型，這意味著你可以使用 Ollama、vLLM、LM Studio、llama.cpp 和 LiteLLM 等工具；同時也可以使用如 OpenRouter 這樣的 OpenAI 相容 Web 服務。

想要開始使用，只需克隆倉庫，然後將示例配置檔案 config.example.toml 複製為 config.toml，並按照 README 中的配置說明進行設定。以下是一個基於 Ollama 的極簡配置示例：埠設為 8080，端點指向 http://localhost:11434/v1，預設模型為 llama31，並定義了幾個模型別名。更多細節，包括配置服務端工具（如網路搜尋和網頁內容抓取），請參閱倉庫 README。

伺服器可以透過兩種方式啟動。如果你已經安裝了 Erlang、Elixir 和 Gleam，可以使用 mix deps.get 和 mix run --no-halt 命令從原始碼原生執行；如果使用 Docker，則可以用 docker run 命令掛載配置檔案和對映埠。需要注意的是，如果透過 Docker 連線宿主機上的本地 LLM 服務（如 Ollama），應使用 host.docker.internal 而不是 localhost 作為端點，因為 localhost 會指向容器自身的迴環介面。

最後，伺服器執行起來後，你可以在 Atuin AI 客戶端中設定 endpoint 配置，例如 http://localhost:8080，從而將客戶端連線到自己的伺服器。這樣，使用者就能在享受 Atuin AI 強大功能的同時，完全掌控自己的資料。