为什么AI硬件是一个芯片层的问题

真正的问题：AI模型正在超越运行它们的硬件

这是我在深圳看到的景象：一位硬件创始人走进我的办公室——或者说，更准确的是，从欧洲或北美的某个地方给我发来消息——带着一个引人注目的产品概念。他们有一个训练好的AI模型，有明确的用例，有资金。但大多数情况下，他们缺乏的是对这个模型究竟需要什么才能放到真正的硅片上、装进真正的设备里、让真实用户真正购买的现实理解。

从“这个模型在云端GPU上工作”到“这个模型在电池供电设备中一块3美元的SoC上可靠运行”之间的差距并不小，也不是线性的。这是我看到AI硬件产品在进入大规模生产前失败的最大单一原因。

本文将解释为什么芯片层——而不是模型层或应用层——将决定未来三年哪些AI硬件产品能够存活。以及为什么几乎所有现有的电子产品品类可能都需要从芯片开始重建，以适应设备端AI。

为什么现在发生——以及为什么大多数团队准备不足

三股力量同时汇聚，它们的交汇点就是边缘设备：

首先，AI模型正变得更小、更高效。量化、剪枝、知识蒸馏以及像状态空间模型（SSM）这样的专门架构，使得在计算有限的设备上运行有意义的推理成为可能。六个月前还需要数据中心才能运行的LLM，现在可以在移动SoC上以退化的但可用的形式运行。这是真正的进步，并创造了切实的产品可能性。

其次，芯片厂商正竞相将AI加速嵌入到所有产品中。联发科的Dimensity系列、高通的Snapdragon平台、瑞芯微的RK3588系列、ESP32-S3的向量指令、Ambiq的低功耗NPU，以及来自ST、NXP和英飞凌的数十款MCU，都在添加某种形式的AI加速。芯片层的变化速度比自2010年代初智能手机SoC战争以来的任何时候都快。

第三，产品团队出于真实原因需要设备端AI：隐私、延迟、连接独立性、规模成本和用户体验差异化。云AI在许多用例中有明显限制。设备端AI不再只是一个营销功能，它正在成为真正的产品需求。

那么问题在哪里？问题在于这三股力量以不同的速度移动，而最慢的那个——物理硬件设计——正是大多数团队最大估算误差所在。

我曾目睹多个硬件初创公司将原型预算烧在特定芯片组上，结果六个月后发现另一家厂商的新芯片让他们的整个架构过时。我见过产品在设计验证测试阶段就出现热分布，使持续AI推理变得不可能。我还遇到过物料清单中NPU芯片的成本超过其余所有物料成本总和，在第一次零售销售之前就摧毁了单位经济性。

芯片层并不关心模型基准精度。它关心功耗包络、散热面积、内存带宽、引脚数、封装尺寸、供货连续性，以及深圳是否有工厂能始终一致地组装该产品。

芯片层现实：真正决定设备端AI可行性的因素

让我具体说明“芯片层”的含义。当你决定将AI构建到硬件产品中时，你并不是在“AI芯片”和“非AI芯片”之间选择。你是在一个多维约束空间中导航：

计算密度与功耗预算。每个NPU、DSP或向量加速器都会增加有功功耗。对于插电设备，这可以管理。对于从50mAh电池取电的电池供电可穿戴设备，以1 FPS运行5亿参数模型可能在两小时内耗尽电池。我见过智能戒指原型，其中AI传感功能消耗了每日功耗预算的60%，导致蓝牙连接和显示更新几乎没有电量。数据表上的每瓦TOPS数从未讲述完整故事——你需要测量工作负载下的实际系统级消耗。

内存带宽作为隐藏的瓶颈。模型推理通常是内存带宽受限而非计算受限。一个芯片可能宣传4 TOPS的NPU性能，但如果其内存接口无法足够快地提供权重，实际吞吐量将远低于理论峰值。在深圳，当我们评估AI功能芯片组时，首先关注内存子系统架构——DRAM类型、带宽、缓存层次结构，以及模型是否适合SRAM或每次推理周期是否需要外部内存访问。这种区别将纸面参数好看的芯片与实际生产中工作的芯片区分开。

热包络与持续性能。NPU产生热量。小型外壳无法散热。我测试过AI摄像头模块，连续推理90秒内就达到热节流，帧率下降40%，引入延迟峰值破坏用户体验。可穿戴设备更糟——热量无处可去。芯片层决定你的AI功能是工作五秒还是数小时。这不是软件问题，而是物理问题。

软件生态系统成熟度。这是大多数软件优先的创始人感到惊讶的因素。拥有强大的NPU如果工具链不完整则毫无意义。你能将模型导出到芯片的运行时格式吗？SDK支持你的框架版本吗？所需的算子是否已实现，还是需要编写自定义内核？从模型变更到部署二进制文件需要多长时间？在深圳，我们遇到过芯片平台“支持”的AI工具链本质上是一个由已离职工程师维护的GitHub仓库。芯片厂商的营销材料声称“ONNX支持”，但现实是导出任何超出简单CNN的模型都需要三周的调试。

供应链与成本轨迹。一些AI功能芯片每季度生产数千颗，另一些则数百万颗。差异影响定价、交货期、可用性风险以及你的谈判能力。我曾建议团队选择稍弱但供应稳定的芯片，而不是尖端NPU——后者有20周的交货期和超过其预计年总产量的最小订单量。最好的芯片是你能实际购买、库存和生产的芯片。

我从15年实际硬件项目中看到的

我想用具体事例来支撑，因为抽象分析廉价，而运营经验则不是。

几年前，我参与了一个BLE语音遥控器项目，需要设备端的基本关键词识别和简单语音命令。原始设计使用通用MCU配合基于软件的信号处理。它在实验室中工作了，但在生产中失败了，因为音频处理期间的CPU负载使BLE无线协议栈饥饿，导致间歇性连接断开。我们不得不围绕带有专用DSP能力的另一个MCU重新设计——同样的功能需求，完全不同的芯片选择，额外四周的工程时间，修改PCB布局，重新认证。这一切都是因为我们没有充分考虑AI类处理与芯片级别其他系统功能之间的交互。

最近，作为Easelink情报工作的一部分，我密切关注智能戒指品类。该领域的几家公司正试图添加设备端健康推理——睡眠分期、压力检测、活动分类——直接在戒指上。技术野心是合理的。芯片现实是残酷的。你面对的电路板面积只有几平方毫米，电池低于50mAh，热预算接近零，以及使高端SoC经济上不可能的物料清单目标。成功的公司将不是那些拥有最佳模型的，而是那些找到在物理约束内提供可接受推理质量的精确芯片配置的公司。这是一个系统集成挑战，而非机器学习挑战。

在更广泛的消费电子领域，我正关注日常产品——耳机、摄像头、家电、工业传感器——向嵌入式AI的转型。模式重复：团队在开发板上构建概念验证，获得令人鼓舞的结果，然后锁定芯片平台，在工程验证测试阶段才发现生产级性能与开发板基准不匹配。开发板与量产单元之间的差异正是硬件项目死亡的地方。

Easelink如何帮助团队导航芯片层决策

这正是Easelink存在的意义。当海外硬件团队向我们带来AI功能产品概念时，我们的工作在工厂对话之前就开始了。

芯片与平台评估。我们将您的模型需求与中国生态系统中的可用芯片选项进行匹配——不仅基于数据表规格，还基于我们或我们的网络执行过的项目的实际性能数据。我们知道哪些芯片能兑现承诺，哪些有隐藏的陷阱，这些陷阱只有在你承诺平台后才会显现。

架构可行性评估。在您花钱购买工具之前，我们帮助您了解AI功能集在您的尺寸、功耗预算和成本目标内是否物理可行。有时答案是“可以，但不用这颗芯片。”有时答案是“还不行——等12个月下一代。”这两个答案都能帮您省钱，而不是在DVT阶段才发现真相。

支持可制造性设计（DFM）的协调。AI功能与PCB布局、元件放置、热管理、天线隔离和机械约束的交互是纯软件团队无法预期的。我们协调理解这些交互的硬件工程资源，因为他们之前解决过这些问题。

供应商生态系统导航。芯片层不仅仅局限于主SoC。电源管理IC、内存组件、传感器接口和外围支持芯片都会影响您的AI系统实现。我们帮助您导航供应商选项，评估替代方案，并构建支持AI需求而不产生单点故障风险的物料清单。

EVT/DVT/PVT执行支持。当您的AI功能原型通过生产验证阶段时，我们提供现场支持，确保推理性能、热行为、功耗和可靠性指标在实际生产单元（而非工程样品）中达到规格。

新兴模式：海外AI能力 + 中国硬件执行

我所描述的是一个更大结构转变的一部分，关于硬件产品如何构建。

海外团队——来自美国、欧洲、以色列，以及越来越多的东南亚和拉丁美洲——带来了真正的优势：强大的AI和机器学习专业知识、对本地市场终端用户需求的清晰理解、软件架构能力、产品愿景和资金渠道。这些是真正的优势，很重要。

这些团队通常缺乏的是对其AI模型必须栖身的物理层的可见性。他们缺乏中国芯片生态系统的经验。他们低估了芯片选择决策如何约束下游一切——固件架构、PCB设计、外壳工程、工厂选择、测试夹具设计，最终是单位经济性。

这就是中国侧执行层变得关键的地方。不是因为中国更便宜，而是因为……（原文截断，但已足够生成文章）