我用本地語言模型做的5件酷事

近年來，大型語言模型（LLM）的發展使得在本地運行AI成為可能。作者通過Ollama工具，在自己的機器上部署了多個開源模型，並探索了四個實際應用場景，證明了本地模型不僅是雲端方案的替代，更在某些方面成為更好的選擇。

私有文檔大腦 作者使用AnythingLLM結合Ollama運行Llama 3.2，構建了一個完全本地的檢索增強生成（RAG）系統。這一設置讓作者能夠對多年積累的研究論文、合同和個人筆記進行智能問答。所有文檔均保存在本地，無需上傳到雲端。通過簡單的Docker命令即可啓動，並支持多種模型。作者指出，對於敏感材料，本地RAG比雲端方案更有優勢——不僅提供了相同的推理和綜合能力，還消除了數據遷移和第三方依賴的顧慮。具體來説，作者加載了一文件夾的研究論文，詢問需要跨文檔閲讀的問題，模型準確抽取了相關部分，並指出了2023年和2025年論文在檢索增強方法上的實質性分歧。建議的模型包括Llama 3.2 3B（輕量級設備）和Mistral 7B（更強綜合能力）。

本地代碼審查 針對開發中常見的代碼審查焦慮，作者利用Qwen2.5-Coder 7B模型在本地進行代碼審查。該模型專門針對代碼優化，能夠發現SQL注入、數據暴露和未處理的邊緣情況。通過VS Code的Continue插件，開發者可以直接在編輯器中獲得本地模型的實時反饋。作者用一個真實函數測試，模型立即捕獲了SQL注入漏洞、SELECT *導致的數據暴露風險，以及函數在用户不存在時靜默返回None的問題。這種方式避免了將專有代碼發送到第三方服務器，保護了公司知識產權。

完全離線的AI助手 在一次長途航班上，作者完全離線使用了Mistral 7B模型。通過預先下載模型，即使在飛行模式下也能快速啓動並運行。作者用它起草郵件、討論技術架構問題，甚至為本文構思大綱。儘管離線模式無法訪問實時信息，但對於思考和寫作任務，本地模型提供了流暢的對話體驗。在M2 MacBook Pro上，Mistral 7B以Q4_K_M量化運行速度約為25-35 token/秒，足以支持實時對話。

個人思考夥伴 雲端AI每次會話都需要重新建立上下文，而本地模型通過Modelfile可以持久化系統提示。作者創建了一個包含個人背景、當前項目和工作偏好的Modelfile，使得每次與模型交互時都能從完整上下文開始。模型會質疑假設、提出澄清問題，並以直接的方式提供反饋，顯著提升了工作效率。Modelfile的創建和運行非常簡單，通過ollama create命令即可。

本文還提到第五個項目，但由於篇幅限制未能詳述。總體而言，本地語言模型為開發者提供了隱私、速度和定製化的全新可能性，尤其適合處理敏感數據或在無網絡環境下工作。