AIの背後にあるハードウェア

この記事は「Unpacking AI」シリーズの第1弾で、元Metaエンジニアが個人的な理由で退社後、AIハードウェアを深く理解するために執筆しました。まずトランジスタについて説明します。トランジスタは半導体デバイスで、小さな信号で大きな電流を制御し、増幅器またはスイッチとして機能します。半導体（主にシリコン）の導電性は不純物の添加で調整できます。チップの設計はNVIDIAやAMDなどの「ファブレス」企業が行い、実際の製造はTSMCなどのファウンドリに委託されます。TSMCは世界のファウンドリ収益の70％を占め、そのプロセスはASMLの極端紫外線（EUV）リソグラフィ装置に依存しています。ASMLはEUV市場でほぼ独占的な立場にあり、30年の開発期間を経て、毎秒5万滴の錫滴を発射する光源を実現しました。波長13.5nmという極端に短い光は自然には存在しません。

次に、ダイシュリンク（チップ縮小）の歴史を振り返ります。1971年のIntel 4004は10µmプロセスで始まり、その後600nm、250nmと縮小が進みました。2000年代初頭に限界に直面した際、ASMLは2003〜04年に液浸リソグラフィに賭け、水をレンズとウェハーの間に入れることでブレークスルーを達成し、ニコンやキヤノンを凌駕しました。現在、iPhoneは3nmチップを採用し、GPUは5/4/3nmノードを使用しています。しかし、これらの数値は実際のゲート長を意味せず、マーケティング用語となっており、実際の進歩はトランジスタ密度（MTr/mm²）で測られます。

CPUからGPUへの移行はAIの発展に不可欠でした。GPUは数千のシンプルなコアを並列に動作させ、グラフィックスや科学計算に適しています。NVIDIAは1999年にGPUという用語を作り、2006年にCUDAプラットフォームを導入しました。CUDAによりCPUは並列タスクをGPUにオフロードでき、PyTorchやTensorFlowなどのエコシステムが構築されました。2012年、AlexNetがGTX 580で訓練され、GPUが深層学習に有効であることが実証されました。

記事はNVIDIAのBlackwellアーキテクチャも詳述しています。BlackwellはNV-HBIと呼ばれるカスタム相互接続で接合された2つのダイで構成され、各ダイには4つのグラフィックスプロセッシングクラスタ（GPC）があり、各GPCに20のストリーミングマルチプロセッサ（SM）が含まれます。合計160のSMがあり、GigaThreadエンジンがCPUからタスクを受け取り、GPCに分配します。マルチインスタンスGPU（MIG）機能により、チップを最大7つの論理GPUに分割でき、クラウド事業者にとって重要です。NV-HBIは10 TB/sの超低遅延相互接続を提供し、PCIe Gen 6インターフェースも備えています。ただし、記事は最新のRubin R100アーキテクチャについては言及していません。全体として、トランジスタからGPUアーキテクチャまで、AIハードウェアの基礎を包括的に解説しています。