Оголошення: якщо у вас є кілька Macbook, які підтримують RDMA, ви можете кластерізувати їх за допомогою @exolabs і запускати моделі 30B+ зі швидкістю 70 ток/с через thunderbolt5. Тензорний паралелізм на споживчому обладнанні — це вирішена проблема. Ви орендуєте відеокарти, які гірші за ноутбук на вашому дивані. 2X M4 Max (по 64 ГБ кожен) з mlx-community/Qwen3-30B-A3B-4bit @ 70 TPS