Nikt nie mówi o tym, że @apple utrzymuje ceny na tym samym poziomie dla 128GB MacBooka Pro. Nie było podwyżki cen w odpowiedzi na rosnące ceny pamięci. Wszyscy mówią o wzroście mocy obliczeniowej, przyspieszając prefill czterokrotnie. To jest fajne, ale praktycznie nie jest to aż tak wielka sprawa. Dlaczego? Ponieważ na twoim własnym komputerze, większość aplikacji/narzędzi korzystających z LLM-ów osiągnie wysokie wskaźniki trafień w pamięci podręcznej kv - to oznacza, że jako użytkownik doświadczysz wolnego prefill tylko raz. Pamięć podręczna kv może być zapisywana na dysku i ładowana z prędkością 6GB/s. Większość czasu w inferencji LLM spędza się na dekodowaniu, co jest ograniczone przez przepustowość pamięci. To wciąż świetne dla generacji obrazów/wideo, wysokiej wydajności inferencji LLM i fine-tuningu, które są ograniczone przez moc obliczeniową. Powinniśmy zobaczyć ogromne przyspieszenia w tej dziedzinie. Strategia AI Apple opiera się na LLM-ach działających na urządzeniach, a tutaj pamięć jest kluczowym czynnikiem, a nie FLOPS. Oczekuj tego samego dla M5 Pro/Max Mac Mini i M5 Ultra Mac Studio. To oznacza 512GB M5 Ultra za 10k! @tim_cook to geniusz łańcucha dostaw.