Andrew Ng heeft net onthuld waarom de AI-bedrijven die de meeste rekenkracht aan het probleem besteden, zullen verliezen. De winnaar van de intelligentierace zal niet de meeste rekenkracht gebruiken. Ze zullen de minste verspillen. Ng: “Het merendeel van je hoog-dimensionale data ligt op een lager-dimensionale subruimte. Het is gewoon een feit van het leven.” Hier is wat dat in de praktijk betekent. Je hebt een dataset van 10.000 dimensies. Elke dimensie wordt door elke berekening gesleept. Elke trainingscyclus sleept dode last mee die het model nooit zal gebruiken. Ng: “Je draagt deze 10.000-dimensionale voorbeelden de hele trainingsperiode met je mee.” Die bloat is niet alleen inefficiënt. Het is een belasting voor elke berekening die je uitvoert. Geheugenbandbreedte. Netwerkbandbreedte. Rekensnelheid. Al deze worden opgegeten door dimensies die niets bijdragen aan intelligentie. Ze dragen bij aan ruis. De inzicht dat de architecten scheidt van de wapenwedloop: die 10.000-dimensionale dataset wordt bijna volledig vastgelegd door een veel kleinere subruimte. ...