4ドルのマイコンでパイプラインパラレリズムを実現：42Mモデルの分割

このオープンソースプロジェクトは、2つのESP32-S3マイコン上でLlamaアーキテクチャの大規模言語モデルをパイプライン推論する方法を示し、単一チップのメモリ制限を突破して最大42Mパラメータのモデルをサポートします。ESP32クラスのハードウェアで初のマルチチップパイプラインLLM推論であり、INT4量子化とUART通信を使用し、0.5〜1.4 tok/sの速度を実現します。