"A escassez de GPUs nunca foi sobre chips." Exatamente. É sobre se realmente podemos usar computação fragmentada como um único sistema. Essa tem sido nossa crença central desde o primeiro dia. Hardware heterogêneo, redes pouco confiáveis, modos de falha bagunçados — esse é o estado padrão, não o caso extremo. Sou grato a @tengyanAI por dedicar seu tempo para realmente entender a arquitetura — e por que a coordenação precisa vir em primeiro lugar.