Эпизод 1: Nvidia "приобретает" Groq От @vikramskr и @theaustinlyons Основные выводы: - GPU не мертвы. HBM не мертва. - LPU решают другую задачу: детерминированный, ультранизколатентный вывод для небольших моделей. - Большие пограничные модели все еще требуют систем на базе HBM. - Шаг Nvidia расширяет поверхность своего портфолио вывода, а не заменяет GPU. - Будущее инфраструктуры ИИ — это оптимизация, специфичная для рабочих нагрузок, и развертывание, ориентированное на TCO. Ключевые темы: - Что именно Nvidia купила у Groq и почему это не традиционное приобретение - Почему сделка вызвала утверждения о том, что GPU и HBM устарели - Архитектурные компромиссы между GPU, TPU, XPU и LPU - SRAM против HBM. Скорость, емкость, стоимость и реалии цепочки поставок - Основы Groq LPU: VLIW, компиляторное планирование выполнения, детерминизм, ультранизкая задержка - Почему LPU испытывают трудности с большими моделями и где они преуспевают - Практические случаи использования для гипернизколатентного вывода: -- Персонализация рекламных текстов с учетом бюджетов задержки поиска -- Маршрутизация моделей и оркестрация агентов -- Разговорные интерфейсы и перевод в реальном времени -- Робототехника и физический ИИ на краю -- Потенциальные приложения в AI-RAN и телекоммуникационной инфраструктуре - Память как спектр проектирования: только SRAM, SRAM плюс DDR, SRAM плюс HBM - Растущий подход Nvidia к портфолио аппаратного обеспечения вывода, а не универсальное решение