Ingen pratar om @apple hålla priserna samma för 128GB MacBook Pro. Det har inte skett någon prisökning som svar på stigande minnespriser. Alla pratar om ökningen i beräkning, att förfylla förtrycket 4x snabbare. Det här är coolt men praktiskt taget är det inte så stor grej. Varför? För på din egen dator kommer de flesta appar/verktyg som använder LLM:er att få höga kv-cacheträfffrekvenser – det betyder att du som användare bara upplever långsam prefill en gång. KV-cache kan lagras på disk och laddas med 6 GB/s. Största delen av tiden i LLM-inferens ägnas åt avkodning, vilket är minnesbandbreddsgräns. Det är fortfarande utmärkt för bild-/videogenerering, hög batch LLM-inferens och finjustering, som är beräkningsbundna. Vi borde se enorma hastighetsökningar där. Apples AI-strategi är inbyggda LLM:er och här är minnet det som räknas, inte FLOPS. Räkna med samma sak för M5 Pro/Max Mac Mini och M5 Ultra Mac Studio. Det betyder 512GB M5 Ultra på 10 000! @tim_cook är ett geni i leveranskedjan.