NVIDIA sendte oss 2 DGX Sparks. En stund lurte vi på hva vi skulle gjøre med dem. Minnebåndbredden er 273 GB/s, noe som gjør den 3 ganger tregere enn en M3 Ultra (819 GB/s) for batch_size=1 slutning. Men den har 4 ganger flere FLOPS (100 TFLOPS sammenlignet med 26 TFLOPS). Så vi tenkte, hva om vi kunne kombinere DGX Spark og M3 Ultra, og bruke både den massive databehandlingen på DGX Spark og den enorme minnebåndbredden på M3 Ultra. Vi kom opp med en måte å dele slutning på tvers av begge enhetene og oppnå en hastighet på opptil 4x for lange meldinger sammenlignet med M3 Ultra alene. Fullstendige detaljer i blogginnlegget som er lenket til nedenfor.