我造了一臺AI垃圾生成器

作者是一位人類博主，在部落格中堅持原創寫作。然而，他剛剛打造了一臺“AI垃圾生成器”——一臺專門用於執行大型語言模型（LLM）的本地計算機。

背景方面，美國和中國的人工智慧實驗室不斷推出越來越強大的開源大模型，例如Qwen、Gemma和gpt-oss。這些模型可以在消費級電腦上自行託管，帶來諸多好處：技術公司不會接觸你的資料；無需擔心訂閱配額或高昂的API費用；使用方式無廣告或注意力操控；模型一旦下載，無法被撤銷；不會增加對AI資料中心的需求；執行功耗僅幾百瓦，類似遊戲主機。

作者原本使用一臺13代Intel Framework 13筆記型電腦，儘管擁有48GB系統記憶體，但DDR4記憶體頻寬（約50GB/s）成為瓶頸。執行混合專家模型時，每秒僅能生成幾個token，且隨上下文視窗增長急劇下降；嘗試更強密度的模型時，速度慢至每秒一個token，無法互動使用。因此，他之前一直依賴Kagi Assistant和OpenRouter等雲端服務。

與此同時，AI實驗室和雲服務商正在推高記憶體與GPU價格，導致具備LLM能力的電腦更加昂貴。這或許並非刻意策略，但經濟趨勢確實讓人更依賴訂閱服務。如果AI泡沫不破裂，硬體短缺將持續推高價格。因此，為了能在本地計算機上高效執行強LLM，作者決定投資新硬體。

在模型選擇上，作者重點考察了Qwen 3.6 27B。這款中國模型在LiveBench等基準測試中表現優於許多更大規模的模型，甚至超過DeepSeek V3.2，且社群反饋良好。它屬於密集模型，在給定視訊記憶體下能提供最高“智慧”，且對量化容忍度高。替代方案包括Google的Gemma 4 31B（效能接近）以及更快的混合專家模型（如Qwen 3.6 35B-A3B或Gemma 4 26B-A4B）。作者認為，任何能執行Qwen 3.6 27B的電腦也能相容這些替代品，並且隨著未來模型進步，同一硬體將能執行更好的LLM。

硬體選型時，作者列出了需求：32GB以上視訊記憶體以執行約4位元量化的Qwen 3.6 27B；足夠記憶體頻寬實現20-30token/秒的生成速度；足夠的計算能力用於快速上下文預填充（對程式設計代理尤其重要）。他排除了Mac（計算偏弱）、DGX Spark（頻寬受限）等選項，最終選擇了AMD Radeon AI Pro R9700 GPU（32GB視訊記憶體，價格1349美元）和一臺二手Thinkpad T480，透過Thunderbolt 3外接GPU擴充套件塢連線。儘管Thunderbolt僅支援PCIe 3.0的兩條通道，但作者認為這不會顯著影響效能，因為權重載入後頻寬敏感操作均在GPU本地完成。整套系統不便於攜帶（約20磅），但作者將其作為伺服器使用，透過SSH隧道從其他筆記本遠端呼叫API。

配置與調優方面，作者探索了多種推理引擎（如llama.cpp和vLLM）及其引數設定，例如多token預測可提升50%以上生成速度。他還與Pi編碼代理協作，在Codeberg工作區中系統化地記錄實驗和發現。儘管遇到一些相容性問題，但總體執行順利，數小時內便實現了Qwen 3.6 27B的全速推理。

總而言之，作者透過精心選擇硬體和模型，成功打造了一臺個人AI推理伺服器，實現了高效、私密且經濟的本地LLM使用方式。