為什麼AI硬件是一個芯片層的問題

真正的問題：AI模型正在超越運行它們的硬件

這是我在深圳看到的景象：一位硬件創始人走進我的辦公室——或者説，更準確的是，從歐洲或北美的某個地方給我發來消息——帶着一個引人注目的產品概念。他們有一個訓練好的AI模型，有明確的用例，有資金。但大多數情況下，他們缺乏的是對這個模型究竟需要什麼才能放到真正的硅片上、裝進真正的設備裏、讓真實用户真正購買的現實理解。

從“這個模型在雲端GPU上工作”到“這個模型在電池供電設備中一塊3美元的SoC上可靠運行”之間的差距並不小，也不是線性的。這是我看到AI硬件產品在進入大規模生產前失敗的最大單一原因。

本文將解釋為什麼芯片層——而不是模型層或應用層——將決定未來三年哪些AI硬件產品能夠存活。以及為什麼幾乎所有現有的電子產品品類可能都需要從芯片開始重建，以適應設備端AI。

為什麼現在發生——以及為什麼大多數團隊準備不足

三股力量同時匯聚，它們的交匯點就是邊緣設備：

首先，AI模型正變得更小、更高效。量化、剪枝、知識蒸餾以及像狀態空間模型（SSM）這樣的專門架構，使得在計算有限的設備上運行有意義的推理成為可能。六個月前還需要數據中心才能運行的LLM，現在可以在移動SoC上以退化的但可用的形式運行。這是真正的進步，並創造了切實的產品可能性。

其次，芯片廠商正競相將AI加速嵌入到所有產品中。聯發科的Dimensity系列、高通的Snapdragon平台、瑞芯微的RK3588系列、ESP32-S3的向量指令、Ambiq的低功耗NPU，以及來自ST、NXP和英飛凌的數十款MCU，都在添加某種形式的AI加速。芯片層的變化速度比自2010年代初智能手機SoC戰爭以來的任何時候都快。

第三，產品團隊出於真實原因需要設備端AI：隱私、延遲、連接獨立性、規模成本和用户體驗差異化。雲AI在許多用例中有明顯限制。設備端AI不再只是一個營銷功能，它正在成為真正的產品需求。

那麼問題在哪裏？問題在於這三股力量以不同的速度移動，而最慢的那個——物理硬件設計——正是大多數團隊最大估算誤差所在。

我曾目睹多個硬件初創公司將原型預算燒在特定芯片組上，結果六個月後發現另一家廠商的新芯片讓他們的整個架構過時。我見過產品在設計驗證測試階段就出現熱分佈，使持續AI推理變得不可能。我還遇到過物料清單中NPU芯片的成本超過其餘所有物料成本總和，在第一次零售銷售之前就摧毀了單位經濟性。

芯片層並不關心模型基準精度。它關心功耗包絡、散熱面積、內存帶寬、引腳數、封裝尺寸、供貨連續性，以及深圳是否有工廠能始終一致地組裝該產品。

芯片層現實：真正決定設備端AI可行性的因素

讓我具體説明“芯片層”的含義。當你決定將AI構建到硬件產品中時，你並不是在“AI芯片”和“非AI芯片”之間選擇。你是在一個多維約束空間中導航：

計算密度與功耗預算。每個NPU、DSP或向量加速器都會增加有功功耗。對於插電設備，這可以管理。對於從50mAh電池取電的電池供電可穿戴設備，以1 FPS運行5億參數模型可能在兩小時內耗盡電池。我見過智能戒指原型，其中AI傳感功能消耗了每日功耗預算的60%，導致藍牙連接和顯示更新幾乎沒有電量。數據表上的每瓦TOPS數從未講述完整故事——你需要測量工作負載下的實際系統級消耗。

內存帶寬作為隱藏的瓶頸。模型推理通常是內存帶寬受限而非計算受限。一個芯片可能宣傳4 TOPS的NPU性能，但如果其內存接口無法足夠快地提供權重，實際吞吐量將遠低於理論峯值。在深圳，當我們評估AI功能芯片組時，首先關注內存子系統架構——DRAM類型、帶寬、緩存層次結構，以及模型是否適合SRAM或每次推理週期是否需要外部內存訪問。這種區別將紙面參數好看的芯片與實際生產中工作的芯片區分開。

熱包絡與持續性能。NPU產生熱量。小型外殼無法散熱。我測試過AI攝像頭模塊，連續推理90秒內就達到熱節流，幀率下降40%，引入延遲峯值破壞用户體驗。可穿戴設備更糟——熱量無處可去。芯片層決定你的AI功能是工作五秒還是數小時。這不是軟件問題，而是物理問題。

軟件生態系統成熟度。這是大多數軟件優先的創始人感到驚訝的因素。擁有強大的NPU如果工具鏈不完整則毫無意義。你能將模型導出到芯片的運行時格式嗎？SDK支持你的框架版本嗎？所需的算子是否已實現，還是需要編寫自定義內核？從模型變更到部署二進制文件需要多長時間？在深圳，我們遇到過芯片平台“支持”的AI工具鏈本質上是一個由已離職工程師維護的GitHub倉庫。芯片廠商的營銷材料聲稱“ONNX支持”，但現實是導出任何超出簡單CNN的模型都需要三週的調試。

供應鏈與成本軌跡。一些AI功能芯片每季度生產數千顆，另一些則數百萬顆。差異影響定價、交貨期、可用性風險以及你的談判能力。我曾建議團隊選擇稍弱但供應穩定的芯片，而不是尖端NPU——後者有20周的交貨期和超過其預計年總產量的最小訂單量。最好的芯片是你能實際購買、庫存和生產的芯片。

我從15年實際硬件項目中看到的

我想用具體事例來支撐，因為抽象分析廉價，而運營經驗則不是。

幾年前，我參與了一個BLE語音遙控器項目，需要設備端的基本關鍵詞識別和簡單語音命令。原始設計使用通用MCU配合基於軟件的信號處理。它在實驗室中工作了，但在生產中失敗了，因為音頻處理期間的CPU負載使BLE無線協議棧飢餓，導致間歇性連接斷開。我們不得不圍繞帶有專用DSP能力的另一個MCU重新設計——同樣的功能需求，完全不同的芯片選擇，額外四周的工程時間，修改PCB佈局，重新認證。這一切都是因為我們沒有充分考慮AI類處理與芯片級別其他系統功能之間的交互。

最近，作為Easelink情報工作的一部分，我密切關注智能戒指品類。該領域的幾家公司正試圖添加設備端健康推理——睡眠分期、壓力檢測、活動分類——直接在戒指上。技術野心是合理的。芯片現實是殘酷的。你面對的電路板面積只有幾平方毫米，電池低於50mAh，熱預算接近零，以及使高端SoC經濟上不可能的物料清單目標。成功的公司將不是那些擁有最佳模型的，而是那些找到在物理約束內提供可接受推理質量的精確芯片配置的公司。這是一個系統集成挑戰，而非機器學習挑戰。

在更廣泛的消費電子領域，我正關注日常產品——耳機、攝像頭、家電、工業傳感器——向嵌入式AI的轉型。模式重複：團隊在開發板上構建概念驗證，獲得令人鼓舞的結果，然後鎖定芯片平台，在工程驗證測試階段才發現生產級性能與開發板基準不匹配。開發板與量產單元之間的差異正是硬件項目死亡的地方。

Easelink如何幫助團隊導航芯片層決策

這正是Easelink存在的意義。當海外硬件團隊向我們帶來AI功能產品概念時，我們的工作在工廠對話之前就開始了。

芯片與平台評估。我們將您的模型需求與中國生態系統中的可用芯片選項進行匹配——不僅基於數據表規格，還基於我們或我們的網絡執行過的項目的實際性能數據。我們知道哪些芯片能兑現承諾，哪些有隱藏的陷阱，這些陷阱只有在你承諾平台後才會顯現。

架構可行性評估。在您花錢購買工具之前，我們幫助您瞭解AI功能集在您的尺寸、功耗預算和成本目標內是否物理可行。有時答案是“可以，但不用這顆芯片。”有時答案是“還不行——等12個月下一代。”這兩個答案都能幫您省錢，而不是在DVT階段才發現真相。

支持可製造性設計（DFM）的協調。AI功能與PCB佈局、元件放置、熱管理、天線隔離和機械約束的交互是純軟件團隊無法預期的。我們協調理解這些交互的硬件工程資源，因為他們之前解決過這些問題。

供應商生態系統導航。芯片層不僅僅侷限於主SoC。電源管理IC、內存組件、傳感器接口和外圍支持芯片都會影響您的AI系統實現。我們幫助您導航供應商選項，評估替代方案，並構建支持AI需求而不產生單點故障風險的物料清單。

EVT/DVT/PVT執行支持。當您的AI功能原型通過生產驗證階段時，我們提供現場支持，確保推理性能、熱行為、功耗和可靠性指標在實際生產單元（而非工程樣品）中達到規格。

新興模式：海外AI能力 + 中國硬件執行

我所描述的是一個更大結構轉變的一部分，關於硬件產品如何構建。

海外團隊——來自美國、歐洲、以色列，以及越來越多的東南亞和拉丁美洲——帶來了真正的優勢：強大的AI和機器學習專業知識、對本地市場終端用户需求的清晰理解、軟件架構能力、產品願景和資金渠道。這些是真正的優勢，很重要。

這些團隊通常缺乏的是對其AI模型必須棲身的物理層的可見性。他們缺乏中國芯片生態系統的經驗。他們低估了芯片選擇決策如何約束下游一切——固件架構、PCB設計、外殼工程、工廠選擇、測試夾具設計，最終是單位經濟性。

這就是中國側執行層變得關鍵的地方。不是因為中國更便宜，而是因為……（原文截斷，但已足夠生成文章）