Nvidia 收购 Groq 有两个原因。   1) 推理正在分解为预填充和解码。SRAM 架构在解码方面具有独特的优势，适用于性能主要取决于内存带宽的工作负载。Rubin CPX、Rubin 以及从 Groq 派生的假定“Rubin SRAM”变体应该能让 Nvidia 混合搭配芯片，以为每个工作负载创造性能与成本的最佳平衡。Rubin CPX 针对超高内存容量下的预填充进行了优化，具有相对较低带宽的 GDDR DRAM，适用于大规模上下文窗口。Rubin 是训练和高密度批量推理工作负载的主力军，其 HBM DRAM 在内存带宽和容量之间取得了平衡。Groq 派生的 "Rubin SRAM" 针对超低延迟的自主推理工作负载进行了优化，因为 SRAM 的极高内存带宽以较低的内存容量为代价。在后者的情况下，CPX 或普通 Rubin 可能会用于预填充。   2) 很长一段时间以来，SRAM 架构能够达到的每秒令牌指标远高于我们见过的任何 GPU、TPU 或 ASIC。每个用户的极低延迟以每美元的吞吐量为代价。18 个月前，最终用户是否愿意为这种速度付费尚不明确（由于批量大小较小，SRAM 每个令牌的成本更高）。现在，从 Cerebras 和 Groq 最近的结果来看，用户愿意为速度付费的事实显而易见。   这增加了我对除了 TPU、AI5 和 Trainium 之外的所有 ASIC 最终会被取消的信心。祝好运与 3 种 Rubin 变体和多个相关网络芯片竞争。尽管听起来 OpenAI 的 ASIC 会出乎意料地好（比 Meta 和 Microsoft 的 ASIC 好得多）。   让我们看看 AMD 会怎么做。英特尔已经在朝这个方向发展（他们有一个针对预填充优化的 SKU，并购买了 SambaNova，这是最弱的 SRAM 竞争者）。有点搞笑的是 Meta 买下了 Rivos。 而 Cerebras，我有偏见，现在作为最后一个（根据公开知识）独立的 SRAM 玩家，处于一个非常有趣且高度战略的位置，领先于 Groq 的所有公开基准。然而，Groq 的“多芯片”机架架构与 Nvidia 的网络堆栈集成要容易得多，甚至可能在单个机架内，而 Cerebras 的 WSE 几乎必须是一个独立的机架。

为了清晰起见，正如一些人在回复中指出的，我应该注意到Nvidia并没有实际收购Grok。这是一个非独占的许可协议，一些Grok工程师将加入Nvidia。Grok将继续作为一家独立公司运营他们的云业务，实际上是Nvidia及其客户（无论是超大规模云服务商还是新兴云服务商）的竞争对手。 总的来说，这对AI用户来说应该是个好消息。更多的竞争，更多的代币。 圣诞快乐，祝大家都有代币。