為什麼AI硬體是一個晶片層的問題

真正的問題：AI模型正在超越執行它們的硬體

這是我在深圳看到的景象：一位硬體創始人走進我的辦公室——或者說，更準確的是，從歐洲或北美的某個地方給我發來訊息——帶著一個引人注目的產品概念。他們有一個訓練好的AI模型，有明確的用例，有資金。但大多數情況下，他們缺乏的是對這個模型究竟需要什麼才能放到真正的矽片上、裝進真正的裝置裡、讓真實使用者真正購買的現實理解。

從“這個模型在雲端GPU上工作”到“這個模型在電池供電裝置中一塊3美元的SoC上可靠執行”之間的差距並不小，也不是線性的。這是我看到AI硬體產品在進入大規模生產前失敗的最大單一原因。

本文將解釋為什麼晶片層——而不是模型層或應用層——將決定未來三年哪些AI硬體產品能夠存活。以及為什麼幾乎所有現有的電子產品品類可能都需要從晶片開始重建，以適應裝置端AI。

為什麼現在發生——以及為什麼大多數團隊準備不足

三股力量同時匯聚，它們的交匯點就是邊緣裝置：

首先，AI模型正變得更小、更高效。量化、剪枝、知識蒸餾以及像狀態空間模型（SSM）這樣的專門架構，使得在計算有限的裝置上執行有意義的推理成為可能。六個月前還需要資料中心才能執行的LLM，現在可以在移動SoC上以退化的但可用的形式執行。這是真正的進步，並創造了切實的產品可能性。

其次，晶片廠商正競相將AI加速嵌入到所有產品中。聯發科的Dimensity系列、高通的Snapdragon平臺、瑞芯微的RK3588系列、ESP32-S3的向量指令、Ambiq的低功耗NPU，以及來自ST、NXP和英飛凌的數十款MCU，都在新增某種形式的AI加速。晶片層的變化速度比自2010年代初智慧手機SoC戰爭以來的任何時候都快。

第三，產品團隊出於真實原因需要裝置端AI：隱私、延遲、連線獨立性、規模成本和使用者體驗差異化。雲AI在許多用例中有明顯限制。裝置端AI不再只是一個營銷功能，它正在成為真正的產品需求。

那麼問題在哪裡？問題在於這三股力量以不同的速度移動，而最慢的那個——物理硬體設計——正是大多數團隊最大估算誤差所在。

我曾目睹多個硬體初創公司將原型預算燒在特定晶片組上，結果六個月後發現另一家廠商的新晶片讓他們的整個架構過時。我見過產品在設計驗證測試階段就出現熱分佈，使持續AI推理變得不可能。我還遇到過物料清單中NPU晶片的成本超過其餘所有物料成本總和，在第一次零售銷售之前就摧毀了單位經濟性。

晶片層並不關心模型基準精度。它關心功耗包絡、散熱面積、記憶體頻寬、引腳數、封裝尺寸、供貨連續性，以及深圳是否有工廠能始終一致地組裝該產品。

晶片層現實：真正決定裝置端AI可行性的因素

讓我具體說明“晶片層”的含義。當你決定將AI構建到硬體產品中時，你並不是在“AI晶片”和“非AI晶片”之間選擇。你是在一個多維約束空間中導航：

計算密度與功耗預算。每個NPU、DSP或向量加速器都會增加有功功耗。對於插電裝置，這可以管理。對於從50mAh電池取電的電池供電可穿戴裝置，以1 FPS執行5億引數模型可能在兩小時內耗盡電池。我見過智慧戒指原型，其中AI感測功能消耗了每日功耗預算的60%，導致藍牙連線和顯示更新幾乎沒有電量。資料表上的每瓦TOPS數從未講述完整故事——你需要測量工作負載下的實際系統級消耗。

記憶體頻寬作為隱藏的瓶頸。模型推理通常是記憶體頻寬受限而非計算受限。一個晶片可能宣傳4 TOPS的NPU效能，但如果其記憶體介面無法足夠快地提供權重，實際吞吐量將遠低於理論峰值。在深圳，當我們評估AI功能晶片組時，首先關注記憶體子系統架構——DRAM型別、頻寬、快取層次結構，以及模型是否適合SRAM或每次推理週期是否需要外部記憶體訪問。這種區別將紙面引數好看的晶片與實際生產中工作的晶片區分開。

熱包絡與持續效能。NPU產生熱量。小型外殼無法散熱。我測試過AI攝像頭模組，連續推理90秒內就達到熱節流，幀率下降40%，引入延遲峰值破壞使用者體驗。可穿戴裝置更糟——熱量無處可去。晶片層決定你的AI功能是工作五秒還是數小時。這不是軟體問題，而是物理問題。

軟體生態系統成熟度。這是大多數軟體優先的創始人感到驚訝的因素。擁有強大的NPU如果工具鏈不完整則毫無意義。你能將模型匯出到晶片的執行時格式嗎？SDK支援你的框架版本嗎？所需的運算元是否已實現，還是需要編寫自定義核心？從模型變更到部署二進位制檔案需要多長時間？在深圳，我們遇到過晶片平臺“支援”的AI工具鏈本質上是一個由已離職工程師維護的GitHub倉庫。晶片廠商的營銷材料聲稱“ONNX支援”，但現實是匯出任何超出簡單CNN的模型都需要三週的除錯。

供應鏈與成本軌跡。一些AI功能晶片每季度生產數千顆，另一些則數百萬顆。差異影響定價、交貨期、可用性風險以及你的談判能力。我曾建議團隊選擇稍弱但供應穩定的晶片，而不是尖端NPU——後者有20周的交貨期和超過其預計年總產量的最小訂單量。最好的晶片是你能實際購買、庫存和生產的晶片。

我從15年實際硬體專案中看到的

我想用具體事例來支撐，因為抽象分析廉價，而運營經驗則不是。

幾年前，我參與了一個BLE語音遙控器專案，需要裝置端的基本關鍵詞識別和簡單語音命令。原始設計使用通用MCU配合基於軟體的訊號處理。它在實驗室中工作了，但在生產中失敗了，因為音訊處理期間的CPU負載使BLE無線協議棧飢餓，導致間歇性連線斷開。我們不得不圍繞帶有專用DSP能力的另一個MCU重新設計——同樣的功能需求，完全不同的晶片選擇，額外四周的工程時間，修改PCB佈局，重新認證。這一切都是因為我們沒有充分考慮AI類處理與晶片級別其他系統功能之間的互動。

最近，作為Easelink情報工作的一部分，我密切關注智慧戒指品類。該領域的幾家公司正試圖新增裝置端健康推理——睡眠分期、壓力檢測、活動分類——直接在戒指上。技術野心是合理的。晶片現實是殘酷的。你面對的電路板面積只有幾平方毫米，電池低於50mAh，熱預算接近零，以及使高階SoC經濟上不可能的物料清單目標。成功的公司將不是那些擁有最佳模型的，而是那些找到在物理約束內提供可接受推理質量的精確晶片配置的公司。這是一個系統整合挑戰，而非機器學習挑戰。

在更廣泛的消費電子領域，我正關注日常產品——耳機、攝像頭、家電、工業感測器——向嵌入式AI的轉型。模式重複：團隊在開發板上構建概念驗證，獲得令人鼓舞的結果，然後鎖定晶片平臺，在工程驗證測試階段才發現生產級效能與開發板基準不匹配。開發板與量產單元之間的差異正是硬體專案死亡的地方。

Easelink如何幫助團隊導航晶片層決策

這正是Easelink存在的意義。當海外硬體團隊向我們帶來AI功能產品概念時，我們的工作在工廠對話之前就開始了。

晶片與平臺評估。我們將您的模型需求與中國生態系統中的可用晶片選項進行匹配——不僅基於資料表規格，還基於我們或我們的網路執行過的專案的實際效能資料。我們知道哪些晶片能兌現承諾，哪些有隱藏的陷阱，這些陷阱只有在你承諾平臺後才會顯現。

架構可行性評估。在您花錢購買工具之前，我們幫助您瞭解AI功能集在您的尺寸、功耗預算和成本目標內是否物理可行。有時答案是“可以，但不用這顆晶片。”有時答案是“還不行——等12個月下一代。”這兩個答案都能幫您省錢，而不是在DVT階段才發現真相。

支援可製造性設計（DFM）的協調。AI功能與PCB佈局、元件放置、熱管理、天線隔離和機械約束的互動是純軟體團隊無法預期的。我們協調理解這些互動的硬體工程資源，因為他們之前解決過這些問題。

供應商生態系統導航。晶片層不僅僅侷限於主SoC。電源管理IC、記憶體元件、感測器介面和外圍支援晶片都會影響您的AI系統實現。我們幫助您導航供應商選項，評估替代方案，並構建支援AI需求而不產生單點故障風險的物料清單。

EVT/DVT/PVT執行支援。當您的AI功能原型透過生產驗證階段時，我們提供現場支援，確保推理效能、熱行為、功耗和可靠性指標在實際生產單元（而非工程樣品）中達到規格。

新興模式：海外AI能力 + 中國硬體執行

我所描述的是一個更大結構轉變的一部分，關於硬體產品如何構建。

海外團隊——來自美國、歐洲、以色列，以及越來越多的東南亞和拉丁美洲——帶來了真正的優勢：強大的AI和機器學習專業知識、對本地市場終端使用者需求的清晰理解、軟體架構能力、產品願景和資金渠道。這些是真正的優勢，很重要。

這些團隊通常缺乏的是對其AI模型必須棲身的物理層的可見性。他們缺乏中國晶片生態系統的經驗。他們低估了晶片選擇決策如何約束下游一切——韌體架構、PCB設計、外殼工程、工廠選擇、測試夾具設計，最終是單位經濟性。

這就是中國側執行層變得關鍵的地方。不是因為中國更便宜，而是因為……（原文截斷，但已足夠生成文章）