A China não é conhecida por decisões emocionais, então leve isso ao pé da letra.

.@JDVance + os melhores amigos!!

Ambos são enormes. Obrigado por sua atenção a este assunto!!

Uma nota de rodapé interessante nas guerras de IA será como A Lição Amarga se aplica ao capital humano que trabalha com IA. De um lado está essa onda de contratações (Google, Microsoft, Meta) e os tipos de contratações (PhDs, especialistas humanos) que estão sendo feitas agora versus o outro lado da abordagem xAI (abordagens computacionais e sintéticas). Pague a uma pessoa US$ 1 bilhão OU compre US$ 1 bilhão a mais de computação.

.@JonathanRoss321 (o inventor e pai do TPU) e eu fizemos essa aposta em 2017. @GroqInc é agora a solução de inferência mais rápida no mercado hoje. Aqui estão algumas lições aprendidas até agora: - se assumirmos que chegamos à Super Inteligência e depois à Inteligência Geral, todo o jogo convergirá para a Inferência. A arquitetura de design do Inference não poderia ser mais diferente da do Training. Considerações de memória e energia totalmente diferentes. A velocidade é fundamental. - Comece em um nó de processo comprovado, barato e altamente disponível e permaneça nessa curva. A complexidade de empilhamento (ou seja, 2 nm) e os problemas de rendimento em um chip de inferência resultarão em um custo por token de saída que não fará sentido comercialmente. - É tudo uma questão de disponibilidade e diversidade de modelos. Se o seu chip for essencialmente um ASIC para um modelo, você precisará usá-lo em mega escala internamente (ou seja, Google e TPU) ou precisará incentivar as empresas de aplicativos a construí-lo (ou seja, Amazon com Anthropic e Inferentia). De qualquer forma, sou um grande fã da direção, mas a Meta precisará evitar alguns buracos na estratégia de execução. Desejo-lhes tudo de bom - mais soluções são melhores, na minha opinião.

Ou quem quer que faça Dojo... oh espere!

Um corolário importante para aqueles que querem importância online: Influência e popularidade são exercícios de valor absoluto. Atenção negativa ou positiva não importa. O que importa é que a população está falando de você e não de outra pessoa. Quando você mede o crescimento do seu assinante/seguidor dessa maneira, você verá isso escondido à vista de todos.

A Coinbase me enviou um de seus raros cartões comemorativos Satoshi Nakamoto Coinbase One (1 de 21). Animado para obter o meu próprio no outono, que vem com 4% de volta via Bitcoin. Viva o BTC! Obrigado @coinbase @brian_armstrong @immuneeb

"Demorou muitos anos vomitando toda a sujeira que me ensinaram sobre mim mesmo, e meio que acreditei, antes que eu pudesse andar na terra como se tivesse o direito de estar aqui." - James Baldwin

Com todo o progresso feito na qualidade do modelo em "silício genérico" pelos fabricantes de modelos fundamentais, é hora de transformar os próprios modelos na tarefa de projetar seu próprio silício especializado por caso de uso. Isso acontece em um pequeno grau agora, mas as restrições de fornecimento devem forçar mais fabricantes de modelos a perceber a necessidade de projetar silício personalizado. Algumas restrições são importantes, no entanto, para este desafio de design. O mais importante é manter um design útil em um nó de processo não de ponta, para que você não crie restrições de fornecimento ou problemas de rendimento e não esteja lutando contra a física no nível do elétron. A segunda seria como você projeta o uso de memória - cache v HBM por caso de uso é um paradoxo óbvio. O resfriamento é mais um. Tenho trabalhado com um grande engenheiro projetando uma bomba de calor resfriada com CO2. Se funcionar, racks, sistemas e chips devem contemplá-lo e trabalhar para aproveitar essas diferentes dinâmicas de resfriamento, pois produz menos restrições. Etc etc etc. De qualquer forma, está claro para mim que em cinco anos, olharemos para trás e a diversidade do silício terá explodido. Espero ver uma tonelada de anúncios sobre novos chips, começando com o pré-treinamento e depois sangrando até a inferência.