NVIDIAがAI TCOを再考：なぜトークン当たりコストが唯一重要な指標なのか

AI推論が主要なワークロードとなる中、従来の1ドル当たりFLOPSなどのTCO指標は誤解を招きます。NVIDIAはトークン当たりコストがAIインフラの経済性を測る重要な指標であると主張し、BlackwellプラットフォームがHopper比でトークン当たりコストを35分の1、ワット当たりトークン出力を50倍以上向上させたことを示しています。