第1集：Nvidia "收購" Groq 來自 @vikramskr 和 @theaustinlyons 核心要點： - GPU 並未死去。HBM 也未死去。 - LPU 解決的是不同的問題：針對小型模型的確定性、超低延遲推理。 - 大型前沿模型仍然需要基於 HBM 的系統。 - Nvidia 的舉措擴大了其推理產品組合的範圍，而不是取代 GPU。 - AI 基礎設施的未來是針對工作負載的特定優化和 TCO 驅動的部署。 關鍵主題： - Nvidia 實際上從 Groq 購買了什麼，以及為什麼這不是傳統的收購 - 為什麼這筆交易引發了 GPU 和 HBM 過時的說法 - GPU、TPU、XPU 和 LPU 之間的架構權衡 - SRAM 與 HBM。速度、容量、成本和供應鏈現實 - Groq LPU 基礎知識：VLIW、編譯器調度執行、確定性、超低延遲 - 為什麼 LPU 在大型模型上表現不佳，以及它們在哪些方面表現出色 - 超低延遲推理的實際應用案例： -- 在搜索延遲預算下的廣告文案個性化 -- 模型路由和代理協調 -- 對話介面和實時翻譯 -- 邊緣的機器人技術和物理 AI -- 在 AI-RAN 和電信基礎設施中的潛在應用 - 記憶體作為設計光譜：僅 SRAM、SRAM 加 DDR、SRAM 加 HBM - Nvidia 對推理硬體的日益增長的產品組合方法，而不是一刀切