Совершенно неверно. Размеры моделей станут значительно больше в 2026 году в результате увеличения масштабируемых миров в стойках Nvidia (а также в TPU от Google), переходя от B200 с 1,4 ТБ на 8-чиповый масштабируемый мир к GB300 с 20 ТБ на масштабируемый мир.
expatanon
expatanon18 мар., 03:04
Алтман признал, что трансформерные модели достигли предела. Большинство улучшений за последние 9 месяцев связано скорее с инструментами вокруг модели, чем с самими моделями. Другими словами, эта технология быстро созревает, не показывая признаков нового скачка.
Удивительные инвестиции в дата-центры 2024/2025 начинают выходить на рынок, с гораздо лучшим оборудованием, чем модели текущего поколения, оптимизированные для вывода.
87