关于 $NVDA + GROQ 交易的 3 件重要事情 1. 这关乎拥有推理经济，而不是弥补芯片差距 Nvidia 并不是因为在芯片上落后而收购 Groq，因为 Nvidia 已经在训练和大多数推理方面占据主导地位，其路线图（GB300，Rubin）继续降低每个 token 的成本，同时以比几乎任何其他公司更快的速度扩展性能。训练是一次性的事件，而推理是新的 AI 商业模式所在，因此随着 AI 进入实际产品，资金将转向控制运行时的公司。 2. 推理逃离 Nvidia 的未来刚刚被吸收 Groq 是少数几个可信的证明，表明对延迟敏感的推理最终可以脱离 GPU，而随着时间的推移，这将逐渐削弱 Nvidia 的“不可避免”地位。风险因 Groq 的创始人 Jonathan Ross 而加剧，他曾在 $GOOGL 构建 TPUs，并已经证明定制硅可以在实际工作负载中竞争。这个交易在它能够扩展之前就关闭了那扇门。 3. 确定性推理是缺失的层 GPU 在灵活性和规模方面表现出色，但它们从未被设计为保证完全一致的响应时间。这很重要，因为现实世界的 AI 在延迟抖动时会崩溃：语音助手暂停，实时翻译滞后，代理工作流程延迟加重。Groq 通过围绕大量 SRAM 进行设计，保持数据靠近处理器，并每次都提供快速响应，从而解决了这个问题。这使得 Groq 特别适合实时 AI，其中延迟比峰值吞吐量更为重要。 在这一点上，很难争辩 Nvidia 只是卖芯片，因为它显然正在构建一个拥有训练、网络和现在实时推理的平台。 今天花费 200 亿美元以避免未来 2000 亿美元的问题。