Tekoälyn GPU-pula ei koskaan liittynyt siruihin. Meillä on paljon. Todellinen kriisi on, että emme vieläkään voi käyttää suurinta osaa niistä. Tässä syyt 🧵

@cot_research 2/ Katso aukkoa: Vapaaehtoinen laskenta kuten Folding@Home toimii hyvin kuluttajalaitteilla. Jopa @pewdiepie tekee hienoa työtä ja osallistuu! Nykyaikaiset tekoälytyökuormat kuitenkin epäonnistuvat. Sama laitteistopooli. Hyvin erilainen lopputulos. Miksi?

3/ Nykyaikaiset tekoälyn suoritusajat (päättely tai koulutus) oletetaan steriilit olosuhteet: - Identtiset GPU:t - Matalaviiveiset, vakaat linkit Todellinen maailma on kuitenkin sekasotku heterogeenisiä koneita ja lagisevaa internetiä Tavallinen teknologiapino romahtaa tässä.

4/ Monet niin sanotut "hajautetut laskentaverkot" eivät ole saavuttaneet tuote-markkinasopivuutta, koska he pitävät tätä sotkua poikkeustapauksena. He rakentavat markkinapaikkoja käyttämättömien GPU:iden kokoamiseen, mutta aggregointi ei ole koordinointia. Jos laitteisto ei voi käyttäytyä yhtenä yhtenäisenä koneena, se on... Aika hyödytön

5/ Koordinointi on ylävirtaa. Laskentaverkoissa: jos et ratkaise pirstaleisen laitteiston koordinointia ensin, mikään muu rakentamasi ei ole merkityksellistä. Luotettavuus ja kehittäjäkokemus ovat jälkivirran ongelmia.

6/ @YottaLabs on ensimmäinen joukkue, jonka olen nähnyt tarttuvan tähän alusta alkaen ja tekevän vahvaa edistystä. Rakentamalla tekoälypinon uudelleen, ajastajastajasta viestintäkerrokseen, he ovat tuoneet hajautetun laskentasuorituskyvyn noin ~15 %:iin keskitettyjen klustereiden tasolle.

7/ Vielä mielenkiintoisempaa on @YottaLabs:n liiketoimintamalli. Markkinat ovat toissijaisia. He rakentavat toiminnallisen resilienssin datavallihautaa, jota Google ei pysty jäljittelemään – älykästä optimointityökalua Yotta syöttää jokaisen lämpöpiikin ja verkon häiriön takaisin optimointiohjelmaansa. Lisää tästä myöhemmin.