$NVDA + GROQ 交易中 3 件重要的事情 1. 這是關於擁有推理經濟，而不是修補晶片差距 Nvidia 並不是因為在晶片上落後而收購 Groq，因為 Nvidia 已經在訓練和大多數推理中佔據主導地位，其路線圖（GB300，Rubin）持續降低每個 token 的成本，同時以比幾乎任何其他公司更快的速度擴展性能。訓練是一個一次性的事件，而推理是新的 AI 商業模式所在，因此隨著 AI 進入實際產品，資金將轉移到控制運行時的公司。 2. 推理逃離 Nvidia 的未來剛被吸收 Groq 是少數幾個可信的證據之一，表明延遲敏感的推理最終可以脫離 GPU，隨著時間的推移，這將削弱 Nvidia 的 "不可避免" 地位。這一風險因 Groq 的創始人 Jonathan Ross 而加劇，他之前在 $GOOGL 建造了 TPU，並已經證明定制矽可以在實際工作負載中競爭。這筆交易在它能擴展之前就關上了那扇門。 3. 確定性推理是缺失的層 GPU 在靈活性和擴展性方面表現出色，但它們從未設計來保證完全一致的響應時間。這很重要，因為現實世界的 AI 在延遲抖動時會崩潰：語音助手會暫停，實時翻譯會延遲，代理工作流程會加劇延遲。Groq 通過圍繞大量 SRAM 設計來解決這個問題，將數據保持在處理器附近，並每次都提供快速響應。這使得 Groq 特別適合於對延遲要求高於峰值吞吐量的實時 AI。 在這一點上，很難爭辯 Nvidia 只是賣晶片，因為它顯然正在建立擁有訓練、網絡和現在實時推理的平台。 今天花費 200 億美元以避免未來 2000 億美元的問題。