"A escassez de GPUs nunca foi sobre chips." Exatamente. Trata-se de saber se conseguimos realmente usar computação fragmentada como um único sistema. Esta tem sido a nossa crença fundamental desde o primeiro dia. Hardware heterogéneo, redes não fiáveis, modos de falha confusos — esse é o estado padrão, não o caso extremo. Agradecido a @tengyanAI por dedicar tempo a realmente entender a arquitetura — e por que a coordenação tem que vir em primeiro lugar.