Henkilö, joka keksi siruarkkitehtuurin 99 %:ssa kaikista prosessoreista, sanoo, että NVIDIA:n GPU:t on rakennettu täysin väärin tähän tekoälyaikaan... Hänen argumenttinsa: GPU:t on suunniteltu koulutusta varten. Mutta päättely, jossa kaikki rahat syntyvät, on pohjimmiltaan eri ongelma Se on muistiin sidottu ja peräkkäinen. Eikä mikään sirua ole koskaan suunniteltu nimenomaan sitä varten. Jokainen GPU ja TPU, jota käytetään nykyään päättelyyn, on vain pienennetty koulutuspiiri. Todellinen pullonkaula on muisti. Ja jokainen trendi, josta ala on eniten innoissaan (MoE, päättely, pitkä konteksti, multimodaali) pahentaa muistiongelmaa. Seuraavan $100B+ laitteistosyklin voittaa se, joka ratkaisee muistiseinän ensimmäisenä