Personne ne parle de @apple maintenant que les prix restent les mêmes pour le MacBook Pro 128 Go. Il n'y a eu aucune augmentation de prix en réponse à la flambée des prix de la mémoire. Tout le monde parle de l'augmentation de la puissance de calcul, accélérant le pré-remplissage par 4x. C'est cool mais pratiquement, ce n'est pas si important. Pourquoi ? Parce que sur votre propre ordinateur, la plupart des applications/outils utilisant des LLM vont obtenir des taux de réussite élevés en cache kv - cela signifie qu'en tant qu'utilisateur, vous ne subissez un pré-remplissage lent qu'une seule fois. Le cache kv peut être persistant sur disque et chargé à 6 Go/s. La plupart du temps dans l'inférence LLM est passé sur le décodage, qui est limité par la bande passante mémoire. C'est toujours génial pour la génération d'images/vidéos, l'inférence LLM en haute quantité et le fine-tuning, qui sont limités par le calcul. Nous devrions voir d'énormes gains de vitesse là-bas. La stratégie d'IA d'Apple repose sur des LLM sur appareil et ici, la mémoire est le nom du jeu, pas les FLOPS. Attendez-vous à la même chose pour le Mac Mini M5 Pro/Max et le Mac Studio M5 Ultra. Cela signifie 512 Go M5 Ultra à 10k ! @tim_cook est un génie de la chaîne d'approvisionnement.