.@JDVance + лучшие друзья!!

Оба огромны. Спасибо за ваше внимание к этому вопросу!!

Интересной примечанием в войнах ИИ будет то, как Горький Урок относится к человеческому капиталу, работающему над ИИ. С одной стороны, это бум найма (Google, Microsoft, Meta) и типы сотрудников (доктора наук, человеческие эксперты), которые нанимаются в настоящее время, а с другой стороны - подход xAI (компьютерные и синтетические подходы). Заплатить одному человеку $1B ИЛИ купить $1B вычислительных мощностей.

.@JonathanRoss321 (изобретатель и отец TPU) и я сделали эту ставку в 2017 году. @GroqInc теперь является самым быстрым решением для вывода на рынке сегодня. Вот некоторые уроки, которые мы извлекли до сих пор: - если мы предположим, что мы достигнем Супер Интеллекта, а затем Общего Интеллекта, вся игра будет сосредоточена на Выводе. Архитектура дизайна для Вывода не может быть более отличной от архитектуры для Обучения. Совершенно разные требования к памяти и мощности. Скорость имеет первостепенное значение. - Начните с проверенного, дешевого и высокодоступного узла процесса и оставайтесь на этой кривой. Увеличение сложности (например, 2 нм) и проблемы с выходом в чипе для Вывода приведут к стоимости за выходной токен, которая не будет иметь коммерческого смысла. - Все дело в доступности и разнообразии моделей. Если ваш чип по сути является ASIC для одной модели, вам либо нужно будет использовать его в мегашкале внутри (например, Google и TPU), либо вам нужно будет стимулировать компании приложений разрабатывать под него (например, Amazon с Anthropic и Inferentia). В любом случае, я большой поклонник этого направления, но Meta нужно будет избежать некоторых ям в стратегии исполнения. Желаю им удачи - больше решений лучше, на мой взгляд.

Или кто бы ни делал Dojo... о, подождите!

Важным следствием этого для тех, кто хочет онлайн-значимости: Влияние и популярность — это абсолютные ценностные упражнения. Отрицательное или положительное внимание не имеет значения. Важно, чтобы население говорило о вас, а не о ком-то другом. Когда вы измеряете рост своих подписчиков/фолловеров таким образом, вы увидите это скрытым на виду.

Coinbase прислал мне одну из своих редких памятных карт Coinbase One Сатоши Накамото (1 из 21). Я в восторге от того, что получу свою осенью, которая дает 4% кэшбэка в Bitcoin. Да здравствует BTC! Спасибо @coinbase @brian_armstrong @immuneeb

"Мне потребовалось много лет, чтобы извергать всю ту грязь, которую меня учили о себе и в которую я наполовину верил, прежде чем я смог ходить по земле так, как будто имею право быть здесь." ― Джеймс Болдуин

С учетом всех достижений в качестве моделей на "универсальном кремнии" со стороны создателей базовых моделей, пришло время направить сами модели на задачу проектирования собственного специализированного кремния под конкретные случаи использования. Это происходит в небольшой степени сейчас, но ограничения поставок должны заставить больше создателей моделей осознать необходимость проектирования индивидуального кремния. Некоторые ограничения важны для этой задачи проектирования. Самое важное - это поддержание полезного дизайна на не передовом технологическом узле, чтобы не создавать ограничения по поставкам или проблемы с выходом и не бороться с физикой на уровне электронов. Вторым важным аспектом будет то, как вы проектируете использование памяти - кэш против HBM для каждого случая использования является очевидным парадоксом. Охлаждение - это еще один аспект. Я работал с отличным инженером, проектируя тепловой насос с охлаждением CO2. Если это сработает, стойки, системы и чипы должны учитывать это и работать над тем, чтобы воспользоваться этими различными динамиками охлаждения, поскольку это приводит к меньшим ограничениям. И так далее. В любом случае, мне ясно, что через пять лет мы оглянемся назад, и разнообразие кремния взорвется. Я ожидаю увидеть множество анонсов о новых чипах, начиная с предварительного обучения и затем переходя к выводу.

🤔 По меньшей мере, среди топ-10 определенно есть "имеющие ИИ" и "не имеющие ИИ".