AIハードウェアはチップレイヤーの問題である理由

本当の問題：AIモデルがそれらを動かすはずのハードウェアを上回っている

これが私が深圳で目にしている光景です。ハードウェアの創業者が私のオフィスを訪れるか——より正確には、ヨーロッパや北米のどこかからメッセージを送ってくる——魅力的な製品コンセプトを携えて。彼らは訓練されたAIモデルを持ち、明確なユースケースがあり、資金もあります。しかし、ほとんどの場合、彼らが欠いているのは、そのモデルを実際のデバイス内の実際のシリコンに搭載し、実際の人が実際に購入するために何が必要かについての現実的な理解です。

「このモデルはクラウドのGPUで動作する」から「このモデルはバッテリー駆動デバイス内の3ドルのSoCで確実に動作する」までのギャップは小さくなく、線形でもありません。これは、AIハードウェア製品が量産に達する前に失敗する最大の単一の理由です。

この記事では、なぜチップレイヤー——モデルレイヤーやアプリケーションレイヤーではなく——が今後3年間でどのAIハードウェア製品が生き残るかを決定するのかを説明します。そして、なぜほとんどすべての既存の電子製品カテゴリーが、オンデバイスAIに対応するためにチップから再構築される必要があるのかを説明します。

なぜ今起こっているのか——そしてなぜほとんどのチームが準備不足なのか

3つの力が同時に収束しており、その交点がエッジデバイスです：

第一に、AIモデルはより小さく、より効率的になっています。量子化、プルーニング、知識蒸留、そしてSSM（状態空間モデル）のような専用アーキテクチャにより、限られた計算能力のデバイスでも意味のある推論が可能になっています。6か月前にデータセンターを必要としていたLLMが、今ではモバイルSoC上で（劣化したが使用可能な形で）実行できます。これは真の進歩であり、真の製品可能性を生み出しています。

第二に、チップベンダーはあらゆるものにAIアクセラレーションを組み込む競争をしています。MediaTekのDimensityシリーズ、QualcommのSnapdragonプラットフォーム、RockchipのRK3588ファミリー、ESP32-S3のベクトル命令、Ambiqの低電力NPU、そしてST、NXP、Infineonからの数十のMCUが、何らかの形のAIアクセラレーションを追加しています。チップレイヤーは、2010年代初頭のスマートフォンSoC戦争以来、かつてない速さで変化しています。

第三に、製品チームは本当の理由でオンデバイスAIを必要としています：プライバシー、レイテンシ、接続独立性、規模のコスト、ユーザー体験の差別化。クラウドAIには多くのユースケースで明確な制限があります。オンデバイスAIは単なるマーケティング機能ではなくなり、本当の製品要件になりつつあります。

では問題はどこにあるのでしょうか？問題は、これら3つの力が異なる速度で動いており、最も遅いもの——物理的ハードウェア設計——がほとんどのチームによって最大のマージンで過小評価されていることです。

私は、複数のハードウェアスタートアップが特定のチップセットを中心にプロトタイピング予算を使い果たし、6か月後に別のベンダーの新しいチップがアーキテクチャ全体を時代遅れにすることを発見するのを見てきました。設計検証テスト段階に達した製品が、継続的なAI推論を不可能にする熱プロファイルを持つものを見てきました。NPU搭載チップのコストが残りの部品表の合計よりも高く、最初の小売販売の前にユニットエコノミクスを破壊するBOMに遭遇しました。

チップレイヤーはモデルのベンチマーク精度を気にしません。それは、電力エンベロープ、熱放散面積、メモリ帯域幅、ピン数、パッケージサイズ、供給継続性、そして深圳のどの工場がその製品を一貫して組み立てられるかを気にします。

チップレイヤーの現実：オンデバイスAIの実現可能性を実際に決定するもの

「チップレイヤー」の意味を具体的に説明しましょう。AIをハードウェア製品に組み込むことを決めたとき、あなたは「AIチップ」と「非AIチップ」の間で選択しているわけではありません。あなたは次のような多次元の制約空間をナビゲートしています：

計算密度対電力予算。すべてのNPU、DSP、またはベクトルアクセラレータはアクティブ電力を追加します。プラグイン型デバイスではこれは管理可能です。50mAhのセルから電力を供給されるバッテリー駆動のウェアラブルでは、500Mパラメータモデルを1 FPSで実行すると、2時間でバッテリーを消耗する可能性があります。スマートリングのプロトタイプでは、AIセンシング機能が1日の電力予算の60％を消費し、BLE接続とディスプレイ更新に何も残さないのを見たことがあります。データシートのTOPS/ワット値は決して全体像を語りません——特定のワークロード下での実際のシステムレベルの消費を測定する必要があります。

メモリ帯域幅が隠れたボトルネックに。モデル推論はしばしば計算制約ではなくメモリ帯域幅制約です。チップは4 TOPSのNPU性能を宣伝するかもしれませんが、メモリインターフェイスが十分な速さで重みを供給できない場合、実際のスループットは理論上のピークの一部になります。深圳では、AI対応チップセットを評価する際に、最初にメモリサブシステムアーキテクチャ——DRAMタイプ、帯域幅、キャッシュ階層、そしてモデルがSRAMに収まるか、毎回の推論サイクルで外部メモリアクセスが必要か——を調べます。この区別により、紙の上では良さそうなチップと、実際に生産で機能するチップが分かれます。

熱エンベロープと持続性能。NPUは熱を発生します。小さな筐体はそれを放散できません。連続推論の90秒以内に熱スロットルに達し、フレームレートが40％低下し、ユーザーエクスペリエンスを壊すレイテンシスパイクを引き起こすAIカメラモジュールをテストしました。ウェアラブルはさらに悪く、文字通り熱が逃げ場を失います。チップレイヤーは、AI機能が5秒間動作するか、何時間も動作するかを決定します。これはソフトウェアの問題ではなく、物理の問題です。

ソフトウェアエコシステムの成熟度。これはほとんどのソフトウェアファーストの創業者を驚かせる要素です。有能なNPUを持っていても、ツールチェーンが不完全なら意味がありません。モデルをチップのランタイム形式にエクスポートできますか？SDKはあなたのフレームワークバージョンをサポートしていますか？必要な演算子は実際に実装されていますか、それともカスタムカーネルを書く必要がありますか？モデル変更からデプロイされたバイナリまでの反復時間はどのくらいですか？深圳では、チッププラットフォームの「サポートされている」AIツールチェーンが、実質的にその会社を去った1人のエンジニアによって管理されているGitHubリポジトリである場合に遭遇しました。チップベンダーのマーケティング資料は「ONNXサポート」と主張しますが、現実は単純なCNN以上のものをエクスポートするには3週間のデバッグが必要です。

サプライチェーンとコストの軌跡。一部のAI対応チップは四半期に数千ユニット生産されます。他は数百万ユニット生産されます。その差は、価格、リードタイム、可用性リスク、交渉能力に影響します。私はチームに、最先端のNPUよりも確立された供給を持つわずかに劣るチップを選ぶようアドバイスしてきました。そのNPUは20週のリードタイムと、推定年間総生産量を超える最小注文数量を持っているからです。最良のチップとは、実際に購入でき、在庫を持ち、製造できるチップです。

15年にわたる実際のハードウェアプロジェクトから見たもの

抽象的な分析は安く、運用経験はそうではないので、具体的な事例に基づいて説明したいと思います。

数年前、私はBLE音声リモコンプロジェクトに取り組みました。デバイス上での基本的なキーワードスポッティングと簡単な音声コマンドが必要でした。元の設計は、ソフトウェアベースの信号処理を備えた汎用MCUを使用しました。ラボでは動作しましたが、生産では失敗しました。オーディオ処理中のCPU負荷がBLE無線スタックを飢えさせ、断続的な接続切断を引き起こしたからです。専用のDSP機能を持つ別のMCUを中心に再設計する必要がありました——同じ機能要件、まったく異なるチップ選択、さらに4週間のエンジニアリング、PCBレイアウトの修正、再認定。AIのような処理と他のシステム機能との相互作用をチップレベルで適切に考慮しなかったためです。

もっと最近では、Easelinkでのインテリジェンス活動の一環として、スマートリングカテゴリーを密に追跡しています。この分野のいくつかの企業は、リング上で直接、オンデバイスのヘルス推論——睡眠ステージング、ストレス検出、アクティビティ分類——を追加しようとしています。技術的な野心は妥当です。チップの現実は厳しいです。あなたは数平方ミリメートルで測定される表面積、50mAh未満のバッテリー、ゼロに近い熱予算、そしてプレミアムSoCを経済的に不可能にするBOMターゲットと戦っています。成功する企業は、最高のモデルを持つ企業ではなく、それらの物理的制約内で許容可能な推論品質を提供する正確なチップ構成を見つける企業です。これはシステム統合の課題であり、機械学習の課題ではありません。

より広い消費者エレクトロニクスの分野では、日常的な製品——イヤホン、カメラ、家電、産業用センサー——の組み込みAIへの移行を観察しています。パターンは繰り返されます：チームは開発ボード上で概念実証を構築し、有望な結果を得て、チッププラットフォームにコミットし、その後EVTで生産グレードの性能が開発ボードのベンチマークと一致しないことを発見します。開発ボードと量産ユニットの間のデルタは、ハードウェアプロジェクトが死ぬ場所です。

Easelinkがチームのチップレイヤー決定をどのように支援するか

これこそがEaselinkが存在する理由です。海外のハードウェアチームがAI対応製品コンセプトを持ち込むとき、私たちの作業は工場での会話が行われる前に始まります。

チップとプラットフォームの評価。モデル要件を中国エコシステムの利用可能なチップオプションとマッピングします——データシートの仕様だけでなく、私たちやネットワークが実行したプロジェクトからの実際のパフォーマンスデータも考慮します。どのチップが約束を果たし、どのチップにプラットフォームにコミットした後にのみ現れる隠れた落とし穴があるかを知っています。

アーキテクチャ実現可能性評価。ツーリングに資金を費やす前に、AI機能セットがフォームファクター、電力予算、コスト目標内で物理的に実現可能かどうかを理解するお手伝いをします。時には答えは「はい、ただしこのチップではダメ」です。時には「まだです——次の世代まで12ヶ月待ってください」です。どちらの答えも、DVTで真実を発見するよりもお金を節約します。

DFMを意識した設計調整。AI機能は、PCBレイアウト、コンポーネント配置、熱管理、アンテナ分離、機械的制約と、純粋なソフトウェアチームが予期しない方法で相互作用します。これらの相互作用を理解するハードウェアエンジニアリングリソースを調整します。彼らは以前にそれらを解決したことがあるからです。

サプライヤーエコシステムのナビゲーション。チップレイヤーはプライマリSoCを超えて広がります。電源管理IC、メモリコンポーネント、センサーインターフェイス、周辺サポートチップはすべて、AIシステムの実装に影響を与えます。サプライヤーオプションをナビゲートし、代替案を評価し、AI要件をサポートしつつ単一障害点のリスクを生み出さないBOMを構築するお手伝いをします。

EVT/DVT/PVT実行サポート。AI対応プロトタイプが生産検証段階を進む際に、推論性能、熱挙動、消費電力、信頼性メトリクスがエンジニアリングサンプルだけでなく実際の製造ユニットで仕様を満たすよう、オンサイトサポートを提供します。

浮かび上がるパターン：海外のAI能力 + 中国のハードウェア実行

私が説明していることは、ハードウェア製品がどのように構築されるかにおけるより大きな構造的変化の一部です。

海外のチーム——米国、ヨーロッパ、イスラエル、そしてますます東南アジアやラテンアメリカから——は、真の強みをもたらします：強力なAIおよびML専門知識、現地市場でのエンドユーザーニーズの明確な理解、ソフトウェアアーキテクチャ能力、製品ビジョン、資金調達の機会。これらは本当の利点であり、重要です。

これらのチームが通常欠いているのは、AIモデルが生きる物理層への可視性です。彼らは中国のチップエコシステムの経験を欠いています。彼らは、チップ選択の決定が下流のすべて——ファームウェアアーキテクチャ、PCB設計、筐体エンジニアリング、工場選定、テスト治具設計、そして最終的にはユニットエコノミクス——をどれだけ制約するかを過小評価しています。

ここで中国側の実行層が重要になります。中国が安いからではなく、……（原文は打ち切られていますが、記事として十分な内容が提供されています）