Nvidia купує Groq з двох причин, на мою думку.   1) Висновок розбирається на презаповнення та декодування. Архітектури SRAM мають унікальні переваги у декодуванні робочих навантажень, де продуктивність залежить переважно від пропускної здатності пам'яті. Rubin CPX, Rubin та ймовірний варіант «Rubin SRAM», отриманий від Groq, мають надати Nvidia можливість комбінувати чіпи для створення оптимального балансу продуктивності та вартості для кожного навантаження. Rubin CPX оптимізований для великих контекстних вікон під час попереднього заповнення завдяки надзвичайно великій ємності пам'яті та відносно низькій пропускної здатності GDDR DRAM. Rubin є основним інструментом для навчання та високощільних, пакетних навантажень на виведення з HBM DRAM, що забезпечує баланс між пропускною здатністю пам'яті та ємністю. «Rubin SRAM», похідний від Groq, оптимізований для наднизькозатримкових навантажень агентного висновку завдяки надзвичайно великій пропускній здатності пам'яті SRAM за рахунок меншої ємності пам'яті. У останньому випадку, ймовірно, для попереднього заповнення використовують або CPX, або звичайний Rubin.   2) Вже давно було очевидно, що архітектури SRAM можуть досягати показників токена за секунду значно вищі, ніж GPU, TPU чи будь-які ASIC, які ми ще бачили. Надзвичайно низька затримка на одного користувача за рахунок пропускної здатності на долар. 18 місяців тому було менш зрозуміло, чи готові кінцеві користувачі платити за цю швидкість (SRAM дорожчий за токен через значно менші пакети). З останніх результатів Cerebras і Groq тепер цілком зрозуміло, що користувачі готові платити за швидкість.   Це підвищує мою впевненість, що всі ASIC, крім TPU, AI5 і Trainium, зрештою будуть скасовані. Удачі у конкуренції з трьома варіантами Rubin та кількома пов'язаними мережевими чипом. Хоча, здається, ASIC OpenAI буде дивовижно хорошим (значно кращим за ASIC Meta та Microsoft).   Подивимось, що зробить AMD. Intel вже рухається в цьому напрямку (у них оптимізований SKU для попередньо заповнення, і вони придбали SambaNova, який був найслабшим конкурентом SRAM). Досить кумедно, що Meta купила Rivos. А Cerebras, де я упереджений, зараз перебуває у дуже цікавій і стратегічній позиції як останній (за загальною інформацією) незалежний гравець SRAM, який випереджав Groq за всіма публічними бенчмарками. Однак архітектура стійки Groq «багато чипів» була значно простішою для інтеграції з мережевим стеком Nvidia і, можливо, навіть у межах однієї стійки, тоді як WSE від Cerebras майже має бути незалежним реком.

Для ясності і, як деякі зазначали у відповідях, слід зазначити, що Nvidia насправді не купує Grok. Це неексклюзивна ліцензійна угода, де деякі інженери Grok приєднуються до Nvidia. Grok продовжить вести свій хмарний бізнес як незалежна компанія, яка фактично є конкурентом Nvidia та їхніх клієнтів, незалежно від того, чи то гіперскейлер, чи неохмарні. Інтернет, інтернет має бути чудовим для користувачів ШІ. Більше конкуренції, більше жетонів. Веселого Різдва та Жетони для всіх.