Andrew Ng acabou de revelar porque as empresas de IA que estão a investir mais computação no problema vão perder. O vencedor da corrida da inteligência não usará a maior computação. Eles vão desperdiçar o menos. Ng: “A maior parte dos seus dados de alta dimensão está numa subespaço de dimensão inferior. É apenas um fato da vida.” Aqui está o que isso significa na prática. Você tem um conjunto de dados de 10.000 dimensões. Cada dimensão arrastada através de cada cálculo. Cada ciclo de treinamento carregando peso morto que o modelo nunca usará. Ng: “Você está carregando esses exemplos de 10.000 dimensões durante todo o seu processo de treinamento.” Esse inchaço não é apenas ineficiente. É um imposto sobre cada computação que você executa. Largura de banda de memória. Largura de banda de rede. Velocidade computacional. Tudo isso consumido por dimensões que não contribuem em nada para a inteligência. Elas contribuem com ruído. A percepção que separa os arquitetos da corrida armamentista: aquele conjunto de dados de 10.000 dimensões é quase inteiramente capturado por um subespaço muito menor. ...