第1集：Nvidia "收购" Groq 来自@vikramskr 和 @theaustinlyons 核心要点： - GPU 并没有消亡。HBM 也没有消亡。 - LPU 解决了不同的问题：针对小模型的确定性、超低延迟推理。 - 大型前沿模型仍然需要基于 HBM 的系统。 - Nvidia 的举动扩大了其推理产品组合的覆盖面，而不是取代 GPU。 - AI 基础设施的未来是针对工作负载的特定优化和以 TCO 为驱动的部署。 关键主题： - Nvidia 实际上从 Groq 购买了什么，以及为什么这不是一次传统的收购 - 为什么这笔交易引发了 GPU 和 HBM 过时的说法 - GPU、TPU、XPU 和 LPU 之间的架构权衡 - SRAM 与 HBM。速度、容量、成本和供应链现实 - Groq LPU 基础知识：VLIW、编译器调度执行、确定性、超低延迟 - 为什么 LPU 在大型模型上表现不佳，而在其他方面表现出色 - 超低延迟推理的实际应用案例： -- 在搜索延迟预算下的广告文案个性化 -- 模型路由和代理编排 -- 对话界面和实时翻译 -- 边缘的机器人技术和物理 AI -- 在 AI-RAN 和通信基础设施中的潜在应用 - 作为设计光谱的内存：仅 SRAM、SRAM 加 DDR、SRAM 加 HBM - Nvidia 对推理硬件的日益增长的组合方法，而不是一刀切的解决方案