Het GPU-tekort in AI ging nooit om de chips. We hebben er genoeg. De echte crisis is dat we de meeste ervan nog steeds niet kunnen gebruiken. Hier is waarom 🧵

@cot_research 2/ Kijk naar de kloof: Vrijwillige rekencapaciteit zoals Folding@Home werkt prima op consumentenhardware. Zelfs @pewdiepie doet geweldig werk en draagt bij! Moderne AI-werkbelastingen zullen echter falen. Zelfde hardwarepool. Heel ander resultaat. Waarom?

3/ Moderne AI-runtime (inferentie of training) gaan uit van steriele omstandigheden: - Identieke GPU's - Laag-latentie, stabiele verbindingen De echte wereld is echter een rommelige mix van heterogene machines en trage internetverbindingen. De standaard techstack valt hier in elkaar.

4/ Veel zogenaamde "gedecentraliseerde" computernetwerken hebben geen product-marktfit bereikt omdat ze deze rommel als een randgeval beschouwen. Ze bouwen marktplaatsen om ongebruikte GPU's te aggregeren, maar aggregatie is geen coördinatie. Als de hardware zich niet als één samenhangende machine kan gedragen, is het... een beetje nutteloos.

5/ Coördinatie is upstream. In computernetwerken: als je de coördinatie van gefragmenteerde hardware niet eerst oplost, doet niets anders wat je bouwt er toe. Betrouwbaarheid en ontwikkelaarservaring zijn downstreamproblemen.

6/ @YottaLabs is het eerste team dat ik heb gezien dat dit vanaf de grond op aanpakt en sterke vooruitgang boekt. Door de AI-stack opnieuw op te bouwen, van de planner tot de communicatielaag, hebben ze de gedecentraliseerde rekencapaciteit binnen ~15% van gecentraliseerde clusters gebracht.

7/ Wat nog interessanter is, is het businessmodel van @YottaLabs. De marktplaats is secundair. Ze bouwen een datamoat in operationele veerkracht die Google niet kan repliceren - de intelligente optimizer. Yotta voedt elke thermische piek en netwerkstoring terug in hun optimizer. Meer hierover later.