NVIDIA mengirimi kami 2 DGX Sparks. Untuk sementara kami bertanya-tanya apa yang akan kami lakukan dengan mereka. Bandwidth memori adalah 273GB/s sehingga 3x lebih lambat daripada M3 Ultra (819GB/s) untuk batch_size=1 inferensi. Tapi ia memiliki FLOPS 4x lebih banyak (100 TFLOPS dibandingkan dengan 26 TFLOPS). Jadi kami berpikir, bagaimana jika kami dapat menggabungkan DGX Spark & M3 Ultra, dan memanfaatkan komputasi besar pada DGX Spark dan bandwidth memori besar pada M3 Ultra. Kami menemukan cara untuk membagi inferensi di kedua perangkat dan mencapai kecepatan hingga 4x untuk prompt yang panjang dibandingkan dengan M3 Ultra sendiri. Detail lengkap dalam posting blog yang ditautkan di bawah ini.