重み無しニューラルネットワーク：乗算をルックアップテーブルに置き換え、AIのエネルギー消費を千分の一に
テキサス大学オースティン校のLizy K. John教授は、乗算の代わりにルックアップテーブルを使用する重み無しニューラルネットワークを開発。医療モニタリングや活動追跡などのタスクで、同等の精度を維持しながらモデルサイズとエネルギー消費を1,000分の1に削減。将来的にはトランスフォーマーへの応用も目指す。
現代の人工知能モデルの多くは乗算に依存しています。回答生成から写真整理、曲の推奨に至るまで、ニューラルネットワークは入力と学習済み重みを掛け合わせる処理を数百万から数十億回実行しています。しかし、テキサス大学オースティン校の電気・コンピュータ工学教授Lizy K. John氏は、この方法は必要以上に計算量が多いと考えています。
John氏は過去5年間、「重み無しニューラルネットワーク」と呼ばれるモデルに取り組んできました。従来の方法とは異なり、入力と重みを繰り返し乗算する代わりに、相互接続されたルックアップテーブルを介してバイナリ入力を渡します。これは、同じ算術問題を繰り返し解くのではなく、蓄積された回答のコレクションを参照するようなものです。タスクによっては、従来の手法と同等の精度を維持しながら、サイズまたは速度で1,000倍の効率を達成できるとJohn氏は述べています。
チームの研究はこれまで、医療センサー、活動追跡、キーワードスポッティングといった小規模な特定問題に焦点を当ててきました。しかし、John氏は同じアプローチが最終的には今日のチャットボットの基盤であるトランスフォーマーモデルにも適用可能だと考えています。
重みからルックアップテーブルへの転換
John氏は数年前、友人に誘われて週例会議に参加し、重みの代わりにルックアップテーブルを使う手法について議論しました。この技術は新しいものではなく、1980年代に英国でパターン認識向けの商用製品が作られましたが、その後姿を消しました。ブラジルのリオデジャネイロ連邦大学の数人の教授が静かに研究を続けていましたが、一つの研究グループのみでした。John氏はハードウェア実装の経験を買われ、実現を手伝うことになりました。6ヶ月足らずでFPGA上で動作させ、非常に小さなニューラルネットワークを作成できました。GPUを必要とせず、他の手法の1000分の1のサイズを達成しました。
エネルギー効率の鍵
John氏は、現在のAIモデルは素晴らしいが、単語を生成するたびに数十億回の乗算を行っていると指摘します。人間の脳は約20ワットのエネルギーで同様のタスクをこなします。ルックアップ方式では、0か1かを参照し、方向を決めるだけです。30ビットや16ビットの重みは不要です。乗算はハードウェアで最もエネルギーを消費する操作の一つであり、人間にとっても難しいものです。そのため、乗算を避けることで大幅な省エネが可能になります。
実際の成果
人間活動認識や医療モニタリング（ECG、EEG、血圧）などのデータセットで、重み無しニューラルネットワークはエネルギー消費を1000分の1に削減しました。通常、スマートセンサーは生データを収集してサーバーに送信しますが、John氏のネットワークはセンサー上に直接配置できるほど小さいです。ある問題では、最良の小型AIモデルが17MBだったのに対し、彼らのモデルは14KBと1000倍以上小さいです。これにより、データをデバイス外に送信する必要がなくなり、省エネとプライバシー向上の両方を実現します。キーワードスポッティングでは、業界最高のモデルが1推論あたり5000ナノジュール以上消費するのに対し、彼らの手法は42〜79ナノジュールで済みます。
医療モニタリングとチャットボットAI
John氏のチームの第一目標は医療モニタリングです。例えば、バンドエイドのように1週間貼り付けておけるデバイスで、高価な接続機器なしに医師が状態を把握できるようにします。化学実験の分野にも取り組んでおり、実験現場にAIを置いて即座に結果を得ることを目指しています。チャットボットへの応用については、トランスフォーマーネットワークの多層パーセプトロン部分（ネットワークの約半分）をすでに置き換えています。アテンション機構はまだ置き換えていませんが、最終的には言語モデルをターゲットにしています。
また、新しいチップ製造の面でも興味深い進展があります。プラスチックの曲げられる基板上に不整脈検出器を構築しました。この基板は約1万個のロジックゲートしか収容できませんが、従来のニューラルネットワークは動作しません。彼らのネットワークは非常に小さいため、そのような小さな基板上でも動作します。この基板は製造時の水使用量も少なく、より持続可能です。
エコシステムとの互換性
John氏は、既存の技術スタックを変更する必要はないと強調します。データは現在のモデルと同じものが使え、むしろ少なくて済む可能性もあります。トレーニングは現在もGPUで行われていますが、将来的にはFPGAベースのハードウェアでのトレーニングを期待しています。FPGAにはすでに小さなルックアップテーブルが組み込まれており、トレーニングと推論の両方に自然に適合します。それまでは、スタックの他の部分を変更する必要はありません。
FPGAは30年以上ルックアップテーブルを使用してきましたが、AI分野では普及していません。最近、乗算の一部をルックアップに置き換える研究もありますが、それは1つの大きなルックアップテーブルを使う傾向があり、彼らのように相互接続された小さなルックアップテーブルではありません。それを使用する人はその良さを知っていますが、まだ一般的ではありません。以前は差し迫ったニーズがなかったが、今はあるとJohn氏は言います。
課題と展望
トランスフォーマーに比べて、重み無しニューラルネットワークに取り組む人ははるかに少ないです。John氏は、既存の方法が機能し、それで十分だと人々が考える限り、移行する理由がないからだと考えています。これまで小規模な問題でしか成功を示せておらず、大規模な問題では機能するという自信が持てていません。しかし、講演のたびに関心を集め、参加したいという人が現れます。より大きな言語モデルで成功を示せれば、より多くの研究者を引き付けられると期待しています。