Ніхто не говорить про те@apple зберегти ціни на MacBook Pro на 128 ГБ. Підвищення цін у відповідь на стрімке зростання цін на пам'ять не відбулося. Всі говорять про прискорення обчислювальної системи, прискорення презаповнення в 4 рази. Це круто, але на практиці це не така вже й велика проблема. Чому? Бо на вашому комп'ютері більшість додатків/інструментів з LLM отримують високі показники попадання KV кешу — це означає, що як користувач ви відчуваєте повільне заповнення лише один раз. KV-кеш можна зберігати на диску і завантажувати зі швидкістю 6 ГБ/с. Більшість часу в LLM інференція витрачається на декодування, що є обмеженням пропускної здатності пам'яті. Він все ще чудово підходить для генерації зображень/відео, високопакетного виведення LLM та тонкого налаштування, які обмежені обчисленнями. Ми маємо побачити величезне прискорення. Стратегія Apple на базі штучного інтелекту — це LLM на пристрої, і тут головне — пам'ять, а не FLOPS. Очікуйте того ж для M5 Pro/Max Mac Mini та M5 Ultra Mac Studio. Це означає 512GB M5 Ultra при 10k! @tim_cook — геній ланцюга постачання.