.@JDVance + Найкращі!!

І те, і інше величезне. Дякую за увагу до цього питання!!

Цікавою виноскою у війнах за штучний інтелект буде те, як «Гіркий урок» застосовується до людського капіталу, який працює над штучним інтелектом. З одного боку – це сплеск наймів (Google, Microsoft, Meta) і типи найму (доктори наук, експерти-люди), які робляться зараз, проти іншого – підхід xAI (комп'ютерний і синтетичний підходи). Заплатіть одній людині 1 мільярд доларів АБО купіть на 1 мільярд доларів більше комп'ютера.

.@JonathanRoss321 (винахідник і батько TPU) і я уклали цю парі в 2017 році. @GroqInc зараз є найшвидшим рішенням для висновків на сучасному ринку. Ось деякі уроки, засвоєні на даний момент: - якщо ми припустимо, що ми дістанемося до Super Intelligence, а потім до General Intelligence, вся гра звернеться до Inference. Архітектура дизайну для Inference не може відрізнятися більше, ніж для Training. Зовсім інші міркування щодо пам'яті та живлення. Швидкість має першорядне значення. - Почніть з перевіреного, дешевого та високодоступного технологічного вузла та залишайтеся на цій кривій. Складність стекування (тобто 2 нм) і проблеми з врожайністю в чіпі Inference призведуть до вартості вихідного токена, що не матиме комерційного сенсу. - Вся справа в доступності моделей і різноманітності. Якщо ваш чіп по суті є асіком для однієї моделі, вам потрібно буде або використовувати його в мегамасштабі всередині (тобто Google і TPU), або вам потрібно буде стимулювати компанії-розробники додатків створювати його (тобто Amazon з Anthropic і Inferentia). У будь-якому випадку, я великий шанувальник цього напрямку, але Meta потрібно буде уникати деяких вибоїн у стратегії виконання. Бажаю їм добра - чим більше рішень, тим краще імо.

Або хто б не зробив Додзьо... Ой, постривай!

Важливий наслідок цього для тих, хто хоче бути важливим в Інтернеті: Вплив і популярність є вправами абсолютної цінності. Негативна чи позитивна увага не має значення. Важливо, щоб населення говорило про вас, а не про когось іншого. Коли ви вимірюєте зростання своїх підписників/підписників таким чином, ви побачите, що це ховається на видноті.

Coinbase надіслала мені одну зі своїх рідкісних пам'ятних карток Сатоші Накамото Coinbase One (1 з 21). Я радий отримати свій власний восени, який повертається з 4% назад через Bitcoin. Хай живуть BTC! Дякую @coinbase @brian_armstrong @immuneeb

«Знадобилося багато років виблювання всього бруду, якого мене вчили про себе і в який я наполовину вірив, перш ніж я зміг ходити по землі так, ніби я мав право бути тут». - Джеймс Болдуін

З огляду на весь прогрес, досягнутий у якості моделей щодо «загального кремнію» фундаментальними виробниками моделей, настав час звернутися до самих моделей до завдання розробки власного спеціалізованого кремнію для кожного випадку використання. Зараз це відбувається в незначній мірі, але обмеження поставок повинні змусити більше виробників моделей усвідомити необхідність розробки кремнію на замовлення. Однак деякі обмеження є важливими для цієї проблеми дизайну. Найважливішим є підтримка корисного дизайну на непередовому технологічному вузлі, щоб ви не створювали обмежень на постачання або проблеми з врожайністю, а також не боролися з фізикою на електронному рівні. По-друге, це те, як ви плануєте використання пам'яті - кеш v HBM на кожен випадок використання є очевидним парадоксом. Охолодження – ще одне. Я працював з чудовим інженером, який розробляв охолоджений тепловий насос на CO2. Якщо він працює, стійки, системи та мікросхеми повинні розглянути його та працювати над тим, щоб скористатися перевагами цієї різної динаміки охолодження, оскільки це дає менше обмежень. І т.д., і т.д. У всякому разі, для мене просто очевидно, що через п'ять років ми озирнемося назад, і кремнієве різноманіття вибухне. Я очікую побачити масу анонсів про нові чіпи, починаючи з попередньої підготовки, а потім переходячи до висновків.

🤔 Як мінімум, серед топ-10 точно є деякі «ШІ має» і «ШІ не має».