我用本地语言模型做的5件酷事

近年来，大型语言模型（LLM）的发展使得在本地运行AI成为可能。作者通过Ollama工具，在自己的机器上部署了多个开源模型，并探索了四个实际应用场景，证明了本地模型不仅是云端方案的替代，更在某些方面成为更好的选择。

私有文档大脑 作者使用AnythingLLM结合Ollama运行Llama 3.2，构建了一个完全本地的检索增强生成（RAG）系统。这一设置让作者能够对多年积累的研究论文、合同和个人笔记进行智能问答。所有文档均保存在本地，无需上传到云端。通过简单的Docker命令即可启动，并支持多种模型。作者指出，对于敏感材料，本地RAG比云端方案更有优势——不仅提供了相同的推理和综合能力，还消除了数据迁移和第三方依赖的顾虑。具体来说，作者加载了一文件夹的研究论文，询问需要跨文档阅读的问题，模型准确抽取了相关部分，并指出了2023年和2025年论文在检索增强方法上的实质性分歧。建议的模型包括Llama 3.2 3B（轻量级设备）和Mistral 7B（更强综合能力）。

本地代码审查 针对开发中常见的代码审查焦虑，作者利用Qwen2.5-Coder 7B模型在本地进行代码审查。该模型专门针对代码优化，能够发现SQL注入、数据暴露和未处理的边缘情况。通过VS Code的Continue插件，开发者可以直接在编辑器中获得本地模型的实时反馈。作者用一个真实函数测试，模型立即捕获了SQL注入漏洞、SELECT *导致的数据暴露风险，以及函数在用户不存在时静默返回None的问题。这种方式避免了将专有代码发送到第三方服务器，保护了公司知识产权。

完全离线的AI助手 在一次长途航班上，作者完全离线使用了Mistral 7B模型。通过预先下载模型，即使在飞行模式下也能快速启动并运行。作者用它起草邮件、讨论技术架构问题，甚至为本文构思大纲。尽管离线模式无法访问实时信息，但对于思考和写作任务，本地模型提供了流畅的对话体验。在M2 MacBook Pro上，Mistral 7B以Q4_K_M量化运行速度约为25-35 token/秒，足以支持实时对话。

个人思考伙伴 云端AI每次会话都需要重新建立上下文，而本地模型通过Modelfile可以持久化系统提示。作者创建了一个包含个人背景、当前项目和工作偏好的Modelfile，使得每次与模型交互时都能从完整上下文开始。模型会质疑假设、提出澄清问题，并以直接的方式提供反馈，显著提升了工作效率。Modelfile的创建和运行非常简单，通过ollama create命令即可。

本文还提到第五个项目，但由于篇幅限制未能详述。总体而言，本地语言模型为开发者提供了隐私、速度和定制化的全新可能性，尤其适合处理敏感数据或在无网络环境下工作。