Andrew Ng avslørte nettopp hvorfor AI-selskapene som bruker mest datakraft på problemet kommer til å tape. Vinneren av intelligensløpet vil ikke bruke mest datakraft. De vil kaste minst. Ng: "Det meste av dine høydimensjonale data ligger i et lavere dimensjonalt delrom. Det er bare et faktum i livet." Her er hva det betyr i praksis. Du har et datasett på 10 000 dimensjoner. Hver dimensjon ble dratt gjennom hver beregning. Hver treningssyklus med dødvekt som modellen aldri vil bruke. Ng: "Du bærer rundt på disse 10 000-dimensjonale eksemplene gjennom hele treningsprosessen din." Den oppblåstheten er ikke bare ineffektiv. Det er en skatt på hver beregning du kjører. Minnebåndbredde. Nettverksbåndbredde. Beregningshastighet. Alt dette spist opp av dimensjoner som ikke bidrar til intelligens. De bidrar med støy. Innsikten som skiller arkitektene fra våpenkappløpet: det 10 000-dimensjonale datasettet er nesten utelukkende fanget opp av et mye mindre subrom. ...