人工知能が産業や国家安全保障を変える中、最新のハードウェア能力を理解することは技術優位を維持する上で重要である。AIアクセラレータは、ニューラルネットワーク、深層学習、機械学習といった機能を高速化するために設計された専用システムで、この約10年間、開発の主要分野であり続けてきた。2018年以降、MITリンカーン研究所のスーパーコンピューティングセンター(LLSC)のチームは「リンカーンAIコンピューティング調査(Lincoln AI Computing Survey、LAICS、発音は「レース」)」を実施している。6本の論文を経た現在も、LAICSは商用AIアクセラレータを概観し、ピーク性能とピーク電力を比較し続けている。
LLSCのAlbert Reuther氏は、およそ8年前、研究論文で説明される研究用AIアクセラレータや、発表される商用アクセラレータの数が急増し、研究所の政府スポンサーからそれらについて質問を受けるようになったと語る。それが調査を始める十分な動機になった。LLSCは、研究所の数千人の研究者が使う高性能計算システムを運用し、最適化している。
AIアクセラレータは機械学習などによく使われるが、分子の機能のモデリングや流体力学シミュレーションの高速化など、計算コストの高い他の並列アプリケーションも可能にする。
AIアクセラレータにはいくつかの形態がある。中央処理装置(CPU)、グラフィックス処理装置(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、データフローアクセラレータである。それぞれ能力は少しずつ異なる。CPUは汎用計算に使え、ASICはごく特定のタスクしか実行できない。データフローアクセラレータ、FPGA、GPUはより柔軟で、さまざまなワークロードに構成できる。設計方法によって、効率と性能はアクセラレータの種類ごとに異なる。LAICSの目的は、現在市場にある技術を調査し比較して、特定のニーズに最適なアクセラレータを見つけることである。
調査はReuther氏が率い、LLSCのMichael Jones氏、Peter Michaleas氏、Jeremy Kepner氏、Vijay Gadepally氏が参加している。チームはまた、先進技術部門や、情報・監視・偵察および戦術システム部門など、リンカーン研究所内の研究者と協力し、アクセラレータがそれぞれのミッションの研究開発をどう支えるかを学んでいる。
シリーズ最初の論文は57基のアクセラレータを対象とし、最新の論文は120基以上を調べた。チームが比較に用いる主な指標はピーク性能と電力で、その後、チップ、カード、システムのどれに載るかで分類する。論文のデータはすべて公開情報から取られており、企業によっては性能や電力データを非公開にしたいと考えているため、これは難しい場合がある。分野の最新動向を追うため、Reuther氏は毎日、ニュースと引用検索を実行し、新しい技術報道、企業発表、業界プレゼンテーションを報告している。
Reuther氏は、毎年さらに5~10社のスタートアップが資金調達して発表され、その後新しいAIアクセラレータをリリースすることに驚き続けていると話す。業界は十分に飽和していると思われるかもしれないが、それでも新たな革新的アクセラレータの一群が登場する。
現在のアクセラレータの性能対ピーク電力を要約するだけでなく、各論文は分野の新しい側面を探る。例えば2022年に発表された論文は性能向上の要因を調査し、より小さく高密度なトランジスタ設計と、より低い数値精度(つまり有効数字を少なく計算すること)から来ていることを見いだした。最新の論文は利用可能な異なるアーキテクチャの選択肢を検討し、プロセッサあたりのコア数の増加や並列性能など、特定の構成要素の追加がシステムをどう変えるかを分析した。
Reuther氏は、予見できる将来にわたって調査を続ける予定で、ここ数カ月だけで6社の新興企業が初のAIアクセラレータを発表したと述べている。
Reuther氏は、AIとそれが動くハードウェアは非常に注目される話題であり、リンカーン研究所が適切な技術を選び追求するための偏りのない技術顧問となることが重要だと語る。AIアクセラレータ調査は、多くのスポンサーや政府関係者がAIアクセラレータの状況をよりよく理解し、研究や調達の判断を改善するのに役立ってきた。この調査は、今後のLLSCシステム購入でどのGPUを検討すべきかを決めるのにも非常に価値があり、スポンサーやミッションプログラムだけでなく、すべてのLLSCユーザーにも利益をもたらす。
一連の論文と付随するデータセットはここで参照できる。