我想运行自己的AI，但我的笔记本电脑说“还不行”

我曾幻想拥有一个完全属于自己的AI助手：运行在我的个人电脑上，无需联网，所有输入的数据都不会离开房间。没有公司统计我的token使用量，没有订阅费，也没有因为别人服务器宕机而毁掉整个下午的烦恼（说的就是你，Anthropic，还有你那反复出现的故障）。为了实现这个愿望，我花了几个月时间尝试，现在我想诚实地告诉你结果如何。

24GB听起来很多，直到你加载一个模型

我的Mac有24GB内存。购买时我觉得这很慷慨，但当你加载一个真正的语言模型时，这个数字迅速缩水。系统需要保留一部分来运行，留给模型的实际可用内存只有三分之二左右。那些真正值得信赖的模型恰好达到或超过这个上限。所以你只能选择：要么用一个小巧但不太聪明的模型，要么用一个更智能却让电脑喘不过气的模型。

显而易见的解决方案是增加内存，但你见过最近的内存价格吗？时机再糟糕不过了。内存价格以令人惊讶的方式上涨，对于那些很久没关注的人来说尤其如此。DRAM价格自2025年初以来大约翻了一番，而分析人士认为到2026年可能再上涨70%左右。存储芯片的情况更糟。SSD所用的原始NAND晶圆价格比去年年中高出约八倍，一块4TB硬盘不久前我可能只花250美元，现在却要700多美元——而且由于市场波动剧烈，当这篇博文发布时，这些数字可能已经完全变了，因为现在是2026年，谁知道RAM和SSD会卖多少钱呢。

这一切疯狂的根源，也正是当今科技界半数故事的背后推手——AI。大型数据中心建设今年将吞噬全球约70%的高端内存，而云巨头已经签下锁定未来数年产量的合同。他们实际上在购买尚未生产出来的芯片。美光甚至关闭了其消费级Crucial品牌，将全部精力投向AI市场。

想想看：正是那个让私密本地模型如此吸引人的繁荣，反过来却让大多数人无法负担运行它的硬件。如果不是因为钱包在哭泣，我觉得这还挺有趣的。

我最初责怪软件

在接受这一切之前，我曾确信自己只是选错了工具。于是我开始寻找“框架”。如果把LLM比作大脑，框架就是给它双手的工具——那些让AI真正有用的东西：Pi、OpenCode、Hermes。每一个都承诺能让本地AI大放异彩。

我最终选择了Pi，倒不是因为它功能出色，而是因为模型在这里运行得最好，响应更快，交互更流畅。但这段寻找过程让我明白，框架并非瓶颈所在。我可以整天切换它们，却始终碰到同一堵墙——那堵墙就是模型本身以及支撑它的内存。没有哪个界面能解决一个模型缺乏思考空间的问题。

于是，我发现自己处于一个尴尬的境地：我不信任本地模型能胜任那些错误代价高昂的任务。快速改写、随口一问，这些没问题。但一旦任务需要真正的判断力，我几乎在做出决定之前就回到了云端。我想摆脱对付费助手的依赖，并非因为它们贵得离谱，而是想摆脱对云服务商的依赖，不受它们的反复无常和服务中断的影响。如今的token补贴如此之高，以至于这些更强大的模型很可能迟早会把我排斥在外。

我的本地AI真正擅长什么

不过，并非全是坏消息。本地模型有一个经常且出色完成的任务：分析招聘广告。

我的求职过程就像后台批处理。一个脚本抓取招聘信息，剔除明显的垃圾内容，然后将剩下的交给笔记本电脑上的模型。模型会按照我写的一份简要说明，逐一比对每条广告，告诉我匹配度如何。免费且离线运行，我的简历从不离开电脑，无论云端的AI是否宕机都能正常工作。这正是我追求的那种独立性，只是范围比我原本期望的小得多。

它之所以能工作，要归功于新模型的构建方式。我使用的Gemma模型采用混合专家（MoE）设计，简单来说，它只唤醒给定问题所需的部分参数，而不是全量运行。它足够轻量，能在我的硬件上真正进行推理，而不需漫长等待，每条广告大约只需30秒。对于在我日常工作中默默运行的任务来说，30秒算不了什么。

所以，还不行

我并没有放弃本地AI。我只是对理想与现实之间的差距感到沮丧——我想要的和24GB内存加上残酷的内存市场所能提供的之间仍有鸿沟。但混合专家技术已经将那条线向前推进了一次，希望它还能再次推进。模型在每GB上的智能程度在不断提升，而不仅仅是变得更大；价格迟早会回落。几年后的我，或许可以毫不犹豫地完全运行本地AI。而现在，我只有一个工作流完全运行在自己的硬件上，其他一切仍然需要“打电话回家”。但这个工作流完全属于我。这是一个开始。