我造了一台AI垃圾生成器

作者是一位人类博主，在博客中坚持原创写作。然而，他刚刚打造了一台“AI垃圾生成器”——一台专门用于运行大型语言模型（LLM）的本地计算机。

背景方面，美国和中国的人工智能实验室不断推出越来越强大的开源大模型，例如Qwen、Gemma和gpt-oss。这些模型可以在消费级电脑上自行托管，带来诸多好处：技术公司不会接触你的数据；无需担心订阅配额或高昂的API费用；使用方式无广告或注意力操控；模型一旦下载，无法被撤销；不会增加对AI数据中心的需求；运行功耗仅几百瓦，类似游戏主机。

作者原本使用一台13代Intel Framework 13笔记本电脑，尽管拥有48GB系统内存，但DDR4内存带宽（约50GB/s）成为瓶颈。运行混合专家模型时，每秒仅能生成几个token，且随上下文窗口增长急剧下降；尝试更强密度的模型时，速度慢至每秒一个token，无法交互使用。因此，他之前一直依赖Kagi Assistant和OpenRouter等云端服务。

与此同时，AI实验室和云服务商正在推高内存与GPU价格，导致具备LLM能力的电脑更加昂贵。这或许并非刻意策略，但经济趋势确实让人更依赖订阅服务。如果AI泡沫不破裂，硬件短缺将持续推高价格。因此，为了能在本地计算机上高效运行强LLM，作者决定投资新硬件。

在模型选择上，作者重点考察了Qwen 3.6 27B。这款中国模型在LiveBench等基准测试中表现优于许多更大规模的模型，甚至超过DeepSeek V3.2，且社区反馈良好。它属于密集模型，在给定显存下能提供最高“智能”，且对量化容忍度高。替代方案包括Google的Gemma 4 31B（性能接近）以及更快的混合专家模型（如Qwen 3.6 35B-A3B或Gemma 4 26B-A4B）。作者认为，任何能运行Qwen 3.6 27B的电脑也能兼容这些替代品，并且随着未来模型进步，同一硬件将能运行更好的LLM。

硬件选型时，作者列出了需求：32GB以上显存以运行约4比特量化的Qwen 3.6 27B；足够内存带宽实现20-30token/秒的生成速度；足够的计算能力用于快速上下文预填充（对编程代理尤其重要）。他排除了Mac（计算偏弱）、DGX Spark（带宽受限）等选项，最终选择了AMD Radeon AI Pro R9700 GPU（32GB显存，价格1349美元）和一台二手Thinkpad T480，通过Thunderbolt 3外接GPU扩展坞连接。尽管Thunderbolt仅支持PCIe 3.0的两条通道，但作者认为这不会显著影响性能，因为权重加载后带宽敏感操作均在GPU本地完成。整套系统不便于携带（约20磅），但作者将其作为服务器使用，通过SSH隧道从其他笔记本远程调用API。

配置与调优方面，作者探索了多种推理引擎（如llama.cpp和vLLM）及其参数设置，例如多token预测可提升50%以上生成速度。他还与Pi编码代理协作，在Codeberg工作区中系统化地记录实验和发现。尽管遇到一些兼容性问题，但总体运行顺利，数小时内便实现了Qwen 3.6 27B的全速推理。

总而言之，作者通过精心选择硬件和模型，成功打造了一台个人AI推理服务器，实现了高效、私密且经济的本地LLM使用方式。