我造了一台AI垃圾生成器

作者是一位人類博主，在博客中堅持原創寫作。然而，他剛剛打造了一台“AI垃圾生成器”——一台專門用於運行大型語言模型（LLM）的本地計算機。

背景方面，美國和中國的人工智能實驗室不斷推出越來越強大的開源大模型，例如Qwen、Gemma和gpt-oss。這些模型可以在消費級電腦上自行託管，帶來諸多好處：技術公司不會接觸你的數據；無需擔心訂閲配額或高昂的API費用；使用方式無廣告或注意力操控；模型一旦下載，無法被撤銷；不會增加對AI數據中心的需求；運行功耗僅幾百瓦，類似遊戲主機。

作者原本使用一台13代Intel Framework 13筆記本電腦，儘管擁有48GB系統內存，但DDR4內存帶寬（約50GB/s）成為瓶頸。運行混合專家模型時，每秒僅能生成幾個token，且隨上下文窗口增長急劇下降；嘗試更強密度的模型時，速度慢至每秒一個token，無法交互使用。因此，他之前一直依賴Kagi Assistant和OpenRouter等雲端服務。

與此同時，AI實驗室和雲服務商正在推高內存與GPU價格，導致具備LLM能力的電腦更加昂貴。這或許並非刻意策略，但經濟趨勢確實讓人更依賴訂閲服務。如果AI泡沫不破裂，硬件短缺將持續推高價格。因此，為了能在本地計算機上高效運行強LLM，作者決定投資新硬件。

在模型選擇上，作者重點考察了Qwen 3.6 27B。這款中國模型在LiveBench等基準測試中表現優於許多更大規模的模型，甚至超過DeepSeek V3.2，且社區反饋良好。它屬於密集模型，在給定顯存下能提供最高“智能”，且對量化容忍度高。替代方案包括Google的Gemma 4 31B（性能接近）以及更快的混合專家模型（如Qwen 3.6 35B-A3B或Gemma 4 26B-A4B）。作者認為，任何能運行Qwen 3.6 27B的電腦也能兼容這些替代品，並且隨着未來模型進步，同一硬件將能運行更好的LLM。

硬件選型時，作者列出了需求：32GB以上顯存以運行約4比特量化的Qwen 3.6 27B；足夠內存帶寬實現20-30token/秒的生成速度；足夠的計算能力用於快速上下文預填充（對編程代理尤其重要）。他排除了Mac（計算偏弱）、DGX Spark（帶寬受限）等選項，最終選擇了AMD Radeon AI Pro R9700 GPU（32GB顯存，價格1349美元）和一台二手Thinkpad T480，通過Thunderbolt 3外接GPU擴展塢連接。儘管Thunderbolt僅支持PCIe 3.0的兩條通道，但作者認為這不會顯著影響性能，因為權重加載後帶寬敏感操作均在GPU本地完成。整套系統不便於攜帶（約20磅），但作者將其作為服務器使用，通過SSH隧道從其他筆記本遠程調用API。

配置與調優方面，作者探索了多種推理引擎（如llama.cpp和vLLM）及其參數設置，例如多token預測可提升50%以上生成速度。他還與Pi編碼代理協作，在Codeberg工作區中系統化地記錄實驗和發現。儘管遇到一些兼容性問題，但總體運行順利，數小時內便實現了Qwen 3.6 27B的全速推理。

總而言之，作者通過精心選擇硬件和模型，成功打造了一台個人AI推理服務器，實現了高效、私密且經濟的本地LLM使用方式。