使用 llama.cpp 和 Pi 本地運行 Mythos 增強編碼模型

Qwythos-9B-Claude-Mythos-5-1M 是一款基於 Qwen3.5 的 9B 參數推理與編碼模型，專為本地編碼工作流、代理開發及長上下文任務設計。其亮點在於體積小巧，可在消費級硬件上運行，同時具備處理實際編碼任務的能力。本指南將詳細介紹如何使用 llama.cpp 本地運行該模型，並將其連接至 Pi 編碼代理。

首先，安裝 llama.cpp 命令行界面。通過官方安裝腳本即可獲取 llama 命令，包括用於本地運行模型的 llama serve。安裝後需將目錄添加至 Shell 路徑。設置 Hugging Face 緩存目錄以管理模型文件。接着，啓動 Qwythos MTP 模型，使用 Q6_K 量化版本並啓用所有 GPU 層。命令包含關鍵參數如 --n-gpu-layers all（卸載所有支持層到 GPU）、--ctx-size 100000（分配 100K token 上下文窗口）、--flash-attn on（啓用閃存注意力）、--cache-type-k/q8_0（減少 KV 緩存內存佔用）、--spec-type draft-mtp（啓用 MTP 推測解碼）等。在 RTX 4070 Ti Super 上可實現約 81.74 token/秒的生成速度。

隨後安裝 Pi 及 pi-llama 插件，配置本地 API 地址後即可在 Pi 中選擇模型作為編碼代理。測試階段，通過兩個實際任務驗證模型能力：構建一款名為“Beat the AI”的瀏覽器遊戲，要求包括 30 秒倒計時、計分、進度條及多種題型，模型生成了一個完整的單 HTML 文件；另一個任務是構建 CSV 轉 Excel 的 Python CLI 工具，模型正確創建了腳本並驗證了功能。

總體而言，該模型速度快、精度高，適合日常編碼任務，無需大量 VRAM。可配合 Pi、Claude Code 等工具使用，支持本地 OpenAI 兼容端點。建議添加網頁搜索等集成以提升效果。