PSA: Hvis du har flere Macbooks som støtter RDMA, kan du klynge dem med @exolabs og kjøre 30B+ modeller i 70 tok/s over thunderbolt5. Tensorparallellisme på forbrukermaskinvare er et løst problem. du leier GPU-er som er dårligere enn laptopen på sofaen din. 2X M4 Max (64GB hver) kjører mlx-community/Qwen3-30B-A3B-4bit @ 70 TPS