Ninguém está a falar sobre a @apple manter os preços iguais para o MacBook Pro de 128GB. Não houve aumento de preço em resposta ao aumento dos preços da memória. Todos estão a falar sobre o aumento no desempenho, acelerando o pré-preenchimento em 4x. Isso é fixe, mas na prática não é assim tão importante. Por quê? Porque no seu próprio computador, a maioria das aplicações/ferramentas que utilizam LLMs vão ter altas taxas de acerto de cache kv - isso significa que, como utilizador, você só vai experimentar um pré-preenchimento lento uma vez. O cache kv pode ser persistido em disco e carregado a 6GB/s. A maior parte do tempo na inferência de LLM é gasta na decodificação, que é limitada pela largura de banda da memória. Ainda é ótimo para geração de imagem/vídeo, inferência de LLM em alta carga e ajuste fino, que são limitados pelo desempenho computacional. Devemos ver enormes aumentos de velocidade aí. A estratégia de IA da Apple é LLMs no dispositivo e aqui, a memória é o nome do jogo, não os FLOPS. Espere o mesmo para o Mac Mini M5 Pro/Max e o Mac Studio M5 Ultra. Isso significa 512GB M5 Ultra a 10k! @tim_cook é um génio da cadeia de suprimentos.