Nikdo nemluví o tom, @apple udržet ceny stejné pro MacBook Pro s kapacitou 128GB. Nedošlo k žádnému zvýšení cen v reakci na prudký růst cen paměti. Všichni mluví o zvýšení výpočetního výkonu, o zrychlení předplňování čtyřnásobně. To je fajn, ale prakticky to není tak velký problém. Proč? Protože na tvém vlastním počítači většina aplikací/nástrojů používajících LLM dosahuje vysoké kv cache úspěšnosti – to znamená, že jako uživatel zažiješ pomalé předplnění jen jednou. kv cache lze ukládat na disk a načítat rychlostí 6GB/s. Většina času v inferenci LLM je věnována dekódování, což je omezeno šířkou pásma paměti. Stále je skvělý pro generování obrazů/videí, vysokou dávku LLM inference a jemné ladění, což je výpočetně vázané. Měli bychom tam vidět obrovské zrychlení. Strategie Apple AI je založená na on-device LLM a zde je klíčem paměť, ne FLOPS. Totéž očekávejte u M5 Pro/Max Mac Mini a M5 Ultra Mac Studio. To znamená 512GB M5 Ultra na 10k! @tim_cook je génius v oblasti dodavatelského řetězce.