Niemand spricht darüber, dass @apple die Preise für das 128GB MacBook Pro gleich hält. Es gab keine Preiserhöhung als Reaktion auf die steigenden Speicherpreise. Alle reden über den Anstieg der Rechenleistung, der das Vorabfüllen um das 4-fache beschleunigt. Das ist cool, aber praktisch ist es nicht so wichtig. Warum? Weil die meisten Apps/Tools, die LLMs verwenden, auf deinem eigenen Computer hohe kv-Cache-Trefferquoten erzielen werden – das bedeutet, dass du als Benutzer nur einmal langsames Vorabfüllen erlebst. Der kv-Cache kann auf die Festplatte geschrieben und mit 6GB/s geladen werden. Die meiste Zeit bei der LLM-Inferenz wird mit dem Dekodieren verbracht, was speicherbandbreitengebunden ist. Es ist immer noch großartig für die Bild-/Videoerzeugung, hochgradige LLM-Inferenz und Feinabstimmung, die rechenintensiv sind. Wir sollten dort enorme Geschwindigkeitssteigerungen sehen. Apples KI-Strategie sind On-Device-LLMs und hier ist der Speicher das A und O, nicht FLOPS. Erwarte das Gleiche für den M5 Pro/Max Mac Mini und den M5 Ultra Mac Studio. Das bedeutet 512GB M5 Ultra für 10k! @tim_cook ist ein Supply-Chain-Genie.