Nvidia покупает Groq по двум причинам, на мой взгляд.   1) Инференс разделяется на предзаполнение и декодирование. Архитектуры SRAM имеют уникальные преимущества в декодировании для рабочих нагрузок, где производительность в основном зависит от пропускной способности памяти. Rubin CPX, Rubin и предполагаемый вариант "Rubin SRAM", полученный от Groq, должны дать Nvidia возможность комбинировать чипы для создания оптимального баланса между производительностью и стоимостью для каждой рабочей нагрузки. Rubin CPX оптимизирован для огромных контекстных окон во время предзаполнения благодаря супер высокой емкости памяти с относительно низкой пропускной способностью GDDR DRAM. Rubin является рабочей лошадкой для обучения и высокоплотных, пакетных инференс-рабочих нагрузок с его HBM DRAM, который находит баланс между пропускной способностью памяти и емкостью. "Rubin SRAM", полученный от Groq, оптимизирован для инференс-рабочих нагрузок с ультранизкой задержкой агентного рассуждения благодаря исключительно высокой пропускной способности памяти SRAM при меньшей емкости памяти. В последнем случае, вероятно, будет использоваться либо CPX, либо обычный Rubin для предзаполнения.   2) Давно стало очевидно, что архитектуры SRAM могут достигать метрик токенов в секунду, значительно превышающих GPUs, TPUs или любые ASIC, которые мы видели. Исключительно низкая задержка для каждого отдельного пользователя за счет пропускной способности на доллар. 18 месяцев назад было менее очевидно, готовы ли конечные пользователи платить за эту скорость (SRAM дороже за токен из-за гораздо меньших размеров пакетов). Теперь совершенно очевидно из недавних результатов Cerebras и Groq, что пользователи готовы платить за скорость.   Это увеличивает мою уверенность в том, что все ASIC, кроме TPU, AI5 и Trainium, в конечном итоге будут отменены. Удачи в конкуренции с 3 вариантами Rubin и несколькими связанными сетевыми чипами. Хотя похоже, что ASIC OpenAI будет удивительно хорош (намного лучше, чем ASIC Meta и Microsoft).   Посмотрим, что сделает AMD. Intel уже движется в этом направлении (у них есть SKU, оптимизированный для предзаполнения, и они купили SambaNova, который был самым слабым конкурентом SRAM). Забавно, что Meta купила Rivos. А Cerebras, где я предвзят, теперь находится в очень интересной и стратегически важной позиции как последний (по общедоступной информации) независимый игрок SRAM, который опережал Groq по всем публичным бенчмаркам. Однако архитектура "много чипов" Groq была гораздо легче интегрирована с сетевым стеком Nvidia и, возможно, даже в рамках одного стойки, в то время как WSE Cerebras почти обязательно должен быть независимой стойкой.

Для ясности и как некоторые указали в ответах, я должен отметить, что Nvidia на самом деле не приобретает Grok. Это неэксклюзивное лицензионное соглашение, в рамках которого некоторые инженеры Grok присоединяются к Nvidia. Grok продолжит вести свой облачный бизнес как независимая компания, которая фактически является конкурентом Nvidia и их клиентов, будь то гипермасштабные компании или неоклауд. В целом, это должно быть отлично для пользователей ИИ. Больше конкуренции, больше токенов. С Рождеством и токенами для всех.