GPU-bristen inom AI handlade aldrig om chippen. Vi har gott om det. Den verkliga krisen är att vi fortfarande inte kan använda de flesta av dem. Här är varför 🧵

@cot_research 2/ Titta på gapet: Frivillig beräkning som Folding@Home fungerar bra på konsumenthårdvara. Även @pewdiepie gör ett fantastiskt jobb och bidrar! Moderna AI-arbetsbelastningar kommer dock att misslyckas. Samma hårdvarupool. Mycket annorlunda resultat. Varför?

3/ Moderna AI-körtider (inferens eller träning) antar sterila förhållanden: - Identiska GPU:er - Låglatens, stabila länkar Den verkliga världen är dock ett kaos av heterogena maskiner och laggigt internet Den vanliga teknikstacken kollapsar här.

4/ Många så kallade "decentraliserade" beräkningsnätverk har inte nått produktmarknadsanpassning eftersom de behandlar detta kaos som ett undantagsfall. De bygger marknadsplatser för att aggregera inaktiva GPU:er, men aggregering är inte samordning. Om hårdvaran inte kan bete sig som en sammanhängande maskin, är det... Ganska värdelöst

5/ Samordningen sker uppströms. I beräkningsnätverk: om du inte först löser samordningen av fragmenterad hårdvara spelar inget annat du bygger någon roll. Tillförlitlighet och utvecklarupplevelse är problem längre efter.

6/@YottaLabs är det första laget jag sett ta itu med detta från grunden och göra starka framsteg. Genom att bygga om AI-stacken, från schemaläggaren till kommunikationslagret, har de tagit decentraliserad beräkningsprestanda till inom ~15 % av centraliserade kluster.

7/ Det som är ännu mer intressant är @YottaLabs affärsmodell. Marknaden är sekundär. De bygger en datavallgrav i operativ motståndskraft som Google inte kan återskapa – den intelligenta optimeraren Yotta matar tillbaka varje termisk topp och nätverksproblem till sin optimerare. Mer om detta senare.