Mi primer artículo académico publicado fue sobre la Ley de Moore y en este momento el desarrollo de la IA se parece mucho: la exponencial de la Ley de Moore no fue el resultado de una sola tecnología, sino de muchas tecnologías diferentes a lo largo de muchas décadas que estaban listas cuando un enfoque de fabricación de chips falló. El ritmo regular de la Ley sirvió como una función de coordinación para que un grupo de competidores en constante cambio se viera presionado a crear una profecía autocumplida de crecimiento continuo de capacidades. De manera similar, el desarrollo de la IA ya ha encontrado varios obstáculos que tuvieron que ser superados con nuevas técnicas e investigaciones (enfoques de datos sintéticos, razonamiento, nuevos usos para el RL). Pero a menos que seas un insider (o sigas de cerca la IA en X), no ves esos obstáculos: solo un progreso exponencial constante. Dada la cantidad de dinero y talento en el espacio, espero que incluso si el preentrenamiento o lo que sea se encuentra con un muro, veremos una rápida transición de toda la industria a uno o más de los muchos otros enfoques que la gente está desarrollando. Ya puedes ver esto: trabajo en modelos del mundo, alternativas a los LLM, nuevos métodos de entrenamiento, etc. Incluso ecosistemas alternativos que están apostando por el auge de modelos pequeños y ajustados, etc. Algunas de estas técnicas provienen de startups, otras se están desarrollando en los propios laboratorios de IA. La gente en X tiende a meterse en los detalles, tratando la IA como un deporte, animando a favor o en contra de equipos y enfoques. Pero durante cualquier período de tiempo razonable, es posible que el desarrollo de la IA se vea como una exponencial suave en muchas métricas para el resto de la gente.