Ingen snakker om @apple holde prisene de samme for 128GB MacBook Pro. Det har ikke vært noen prisøkning som svar på stigende minnepriser. Alle snakker om økningen i beregningskraft, å øke prefill-hastigheten med 4 ganger. Dette er kult, men praktisk sett er det ikke så farlig. Hvorfor? Fordi på din egen datamaskin vil de fleste apper/verktøy som bruker LLM-er få høy kv cache-treffrate – det betyr at du som bruker bare opplever treg prefill én gang. KV-cache kan lagres på disk og lastes med 6 GB/s. Mesteparten av tiden i LLM-inferens brukes på dekoding, som er begrenset til minnebåndbredde. Det er fortsatt flott for bilde-/videogenerering, høy batch LLM-inferens og finjustering, som er beregningsbundne. Vi bør se store hastighetsøkninger der. Apples AI-strategi er LLM-er på enheten, og her er minnet nøkkelen, ikke FLOPS. Forvent det samme for M5 Pro/Max Mac Mini og M5 Ultra Mac Studio. Det betyr 512GB M5 Ultra på 10k! @tim_cook er et forsyningskjede-geni.