Niemand praat over @apple die de prijzen gelijk houdt voor de 128GB MacBook Pro. Er is geen prijsverhoging geweest als reactie op de stijgende geheugenkosten. Iedereen praat over de boost in rekenkracht, die de prefill met 4x versnelt. Dit is cool, maar praktisch gezien is het niet zo'n big deal. Waarom? Omdat op je eigen computer de meeste apps/tools die LLM's gebruiken hoge kv cache hit rates zullen hebben - dat betekent dat je als gebruiker slechts één keer een trage prefill ervaart. kv cache kan op schijf worden opgeslagen en met 6GB/s worden geladen. De meeste tijd in LLM-inferentie wordt besteed aan decoderen, wat gebonden is aan geheugensnelheid. Het is nog steeds geweldig voor beeld/video generatie, hoge batch LLM-inferentie en fine-tuning, die gebonden zijn aan rekenkracht. We zouden daar enorme versnellingen moeten zien. Apple's AI-strategie is on-device LLM's en hier is geheugen de naam van het spel, niet FLOPS. Verwacht hetzelfde voor de M5 Pro/Max Mac Mini en M5 Ultra Mac Studio. Dat betekent 512GB M5 Ultra voor 10k! @tim_cook is een supply chain genie.