在4美元的微控制器上实现流水线并行:拆分42M模型
这个开源项目展示了如何在两个ESP32-S3微控制器上以流水线方式运行Llama架构的大型语言模型,突破了单个芯片的内存限制,支持高达42M参数的模型。这是首个在ESP32级硬件上实现多芯片流水线LLM推理的项目,采用INT4量化和UART通信,速度约为0.5-1.4 tok/s。
在4美元的微控制器上实现流水线并行:拆分42M模型
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。
这个开源项目展示了如何在两个ESP32-S3微控制器上以流水线方式运行Llama架构的大型语言模型,突破了单个芯片的内存限制,支持高达42M参数的模型。这是首个在ESP32级硬件上实现多芯片流水线LLM推理的项目,采用INT4量化和UART通信,速度约为0.5-1.4 tok/s。
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。