跳到主要内容
AI News HubLIVE
更多
仅摘要

免费vLLM课程:推理、压缩与基准测试

DeepLearning.AI与Red Hat合作推出免费中级课程《使用vLLM实现快速高效的LLM推理》,由Red Hat高级开发者倡导者Cedric Clyburn授课。课程涵盖量化、vLLM服务部署及基准测试,时长1小时38分钟,包含9个视频课程、3个代码示例和1个评分作业。

来源Hacker News AI作者: twelvenmonkeys
免费vLLM课程:推理、压缩与基准测试
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • 学习使用量化技术缩小模型内存占用并评估精度权衡
  • 使用vLLM服务模型,掌握连续批处理、PagedAttention和前缀缓存技术
  • 通过GuideLLM和lm-eval进行基准测试,平衡速度、成本和精度

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。