我想運行自己的AI，但我的筆記本電腦説“還不行”

我曾幻想擁有一個完全屬於自己的AI助手：運行在我的個人電腦上，無需聯網，所有輸入的數據都不會離開房間。沒有公司統計我的token使用量，沒有訂閲費，也沒有因為別人服務器宕機而毀掉整個下午的煩惱（説的就是你，Anthropic，還有你那反覆出現的故障）。為了實現這個願望，我花了幾個月時間嘗試，現在我想誠實地告訴你結果如何。

24GB聽起來很多，直到你加載一個模型

我的Mac有24GB內存。購買時我覺得這很慷慨，但當你加載一個真正的語言模型時，這個數字迅速縮水。系統需要保留一部分來運行，留給模型的實際可用內存只有三分之二左右。那些真正值得信賴的模型恰好達到或超過這個上限。所以你只能選擇：要麼用一個小巧但不太聰明的模型，要麼用一個更智能卻讓電腦喘不過氣的模型。

顯而易見的解決方案是增加內存，但你見過最近的內存價格嗎？時機再糟糕不過了。內存價格以令人驚訝的方式上漲，對於那些很久沒關注的人來説尤其如此。DRAM價格自2025年初以來大約翻了一番，而分析人士認為到2026年可能再上漲70%左右。存儲芯片的情況更糟。SSD所用的原始NAND晶圓價格比去年年中高出約八倍，一塊4TB硬盤不久前我可能只花250美元，現在卻要700多美元——而且由於市場波動劇烈，當這篇博文發佈時，這些數字可能已經完全變了，因為現在是2026年，誰知道RAM和SSD會賣多少錢呢。

這一切瘋狂的根源，也正是當今科技界半數故事的背後推手——AI。大型數據中心建設今年將吞噬全球約70%的高端內存，而云巨頭已經簽下鎖定未來數年產量的合同。他們實際上在購買尚未生產出來的芯片。美光甚至關閉了其消費級Crucial品牌，將全部精力投向AI市場。

想想看：正是那個讓私密本地模型如此吸引人的繁榮，反過來卻讓大多數人無法負擔運行它的硬件。如果不是因為錢包在哭泣，我覺得這還挺有趣的。

我最初責怪軟件

在接受這一切之前，我曾確信自己只是選錯了工具。於是我開始尋找“框架”。如果把LLM比作大腦，框架就是給它雙手的工具——那些讓AI真正有用的東西：Pi、OpenCode、Hermes。每一個都承諾能讓本地AI大放異彩。

我最終選擇了Pi，倒不是因為它功能出色，而是因為模型在這裏運行得最好，響應更快，交互更流暢。但這段尋找過程讓我明白，框架並非瓶頸所在。我可以整天切換它們，卻始終碰到同一堵牆——那堵牆就是模型本身以及支撐它的內存。沒有哪個界面能解決一個模型缺乏思考空間的問題。

於是，我發現自己處於一個尷尬的境地：我不信任本地模型能勝任那些錯誤代價高昂的任務。快速改寫、隨口一問，這些沒問題。但一旦任務需要真正的判斷力，我幾乎在做出決定之前就回到了雲端。我想擺脱對付費助手的依賴，並非因為它們貴得離譜，而是想擺脱對雲服務商的依賴，不受它們的反覆無常和服務中斷的影響。如今的token補貼如此之高，以至於這些更強大的模型很可能遲早會把我排斥在外。

我的本地AI真正擅長什麼

不過，並非全是壞消息。本地模型有一個經常且出色完成的任務：分析招聘廣告。

我的求職過程就像後台批處理。一個腳本抓取招聘信息，剔除明顯的垃圾內容，然後將剩下的交給筆記本電腦上的模型。模型會按照我寫的一份簡要説明，逐一比對每條廣告，告訴我匹配度如何。免費且離線運行，我的簡歷從不離開電腦，無論雲端的AI是否宕機都能正常工作。這正是我追求的那種獨立性，只是範圍比我原本期望的小得多。

它之所以能工作，要歸功於新模型的構建方式。我使用的Gemma模型採用混合專家（MoE）設計，簡單來説，它只喚醒給定問題所需的部分參數，而不是全量運行。它足夠輕量，能在我的硬件上真正進行推理，而不需漫長等待，每條廣告大約只需30秒。對於在我日常工作中默默運行的任務來説，30秒算不了什麼。

所以，還不行

我並沒有放棄本地AI。我只是對理想與現實之間的差距感到沮喪——我想要的和24GB內存加上殘酷的內存市場所能提供的之間仍有鴻溝。但混合專家技術已經將那條線向前推進了一次，希望它還能再次推進。模型在每GB上的智能程度在不斷提升，而不僅僅是變得更大；價格遲早會回落。幾年後的我，或許可以毫不猶豫地完全運行本地AI。而現在，我只有一個工作流完全運行在自己的硬件上，其他一切仍然需要“打電話回家”。但這個工作流完全屬於我。這是一個開始。