, @dwarkesh_sp pregunta a @ilyasut “¿Cómo se forja tu gusto de investigación de primer nivel?” Este exjefe de ciencia de OpenAI dijo: “Lo que realmente puede marcar la diferencia entre los mejores investigadores no es la potencia de cálculo, ni la pura inteligencia, sino el gusto.” La “ley de escalabilidad” en el campo de la IA, que se ha dependido en el pasado, está llegando a su límite, marcando el final de una era impulsada por la estética de la fuerza bruta. Los futuros avances dependerán de métodos de aprendizaje y algoritmos más potentes, es decir, de la “investigación”. El gusto de investigación es importante porque apunta a la verdad subyacente de la inteligencia. Ilya cree que una buena arquitectura de IA y mecanismos de aprendizaje deberían “ajustarse a la estructura esencial del cerebro”, es decir, encontrar las heurísticas correctas: el cerebro humano es un sistema de aprendizaje altamente general y extremadamente eficiente, capaz de dominar nuevas habilidades en un tiempo muy corto (por ejemplo, un adolescente puede aprender a conducir en solo 10 horas). Los futuros avances en IA provendrán de este método de aprendizaje más eficiente y general, en lugar de simplemente aumentar la cantidad de datos o el tamaño del modelo. La perspectiva de este co-inventor de avances clave como AlexNet, Seq2Seq, AlphaGo y GPT-3 sugiere una superación del empirismo: Los datos pueden engañar Las tendencias pueden volverse obsoletas Pero la belleza no.