跳到主要内容本期精选
模型每字节释放更多性能:全栈协同设计如何解决AI内存挑战
- AI工厂采用内存与存储层次结构,HBM是最快但最昂贵且容量受限的一层。
- 全栈协同设计通过缩小模型权重、压缩KV缓存、将不活跃上下文卸载到低成本存储、以及将RAG索引放在HBM之外来缓解HBM压力。
AgentNVIDIA Vera CPU:为AI代理带来最高吞吐量与最快速度
- 在100兆瓦数据中心中,Vera比最快的x86 CPU每瓦多支持1.6倍的代理数量。
- 与最节能的x86 CPU相比,Vera的代理速度提升2倍,且能效领先。
网络研讨会回顾:从数据到向量再到上下文
- 检索的局限在不断演进:关键词搜索、语义搜索、RAG 各自解决了上一代的问题,但都无法判断“相似”是否等于“权威”或“有效”。
- Recall@K 只能说明文档是否被找到,无法处理被取代的政策、越权文档或跨公司财年对齐等需要规则判断的问题。
机器人自动驾驶中基于重叠透视相机的广视角合成
- 提出广视角合成(WVS)任务,需处理3D几何、可见性、深度视差和遮挡。
- WV-GS是前馈高斯泼溅框架,无需逐场景优化即可合成广视角。