pasaron cinco años y medio entre "la atención es todo lo que necesitas" y el lanzamiento de chatGPT. han pasado otros tres años desde entonces. he pasado la mayor parte de hoy tratando de unir palabras que de alguna manera den sentido a estos años. cuando "atención" se lanzó, tenía 19 años y trabajaba en un laboratorio industrial de ML en el procesamiento de documentos. el modelado del lenguaje era indudablemente un tema cultural marginal en ese entonces, especialmente en el sector de la salud. ibm watson había incinerado unos pocos miles de millones de dólares durante el primer gran sueño febril de NLP, y la idea de que incluso unos pocos millones de dólares volvieran a entrar en este campo parecía descabellada. el verano siguiente se publicó el artículo de preentrenamiento generativo. recuerdo que me lo enviaron el entonces novio de una compañera de universidad que dirigía una empresa de procesamiento de documentos en un bajo industrial de boston. si entrecerrabas los ojos, juntos formaban suficiente imagen de una agenda de investigación para lograr un NLP industrial realmente bueno. podías imaginar la curaduría de conjuntos de datos, y tal vez incluso encontrar suficiente dinero para juntar algunas gpus, podrías obtener algo útil. dejé mi trabajo ese otoño para trabajar en modelos. el centro espiritual de la comunidad "la IA es un poco real" en ese momento era un conjunto de casas grupales en berkley que estaban convencidas de haber resuelto la psicología humana. todavía pasarían unos años más antes de que colapsaran en un escándalo de invocación de demonios. y aún otros dos años desde ese punto hasta que las leyes de escalado se hicieron claras. y aún mucho, mucho más tiempo hasta chatGPT. ese vacío es lo que me atormenta. cinco años y medio fue una eternidad, pero ahora hablamos de ello como si fuera una línea recta. no lo fue. fue un camino errante con enormes cantidades de capital incinerado, empresas destruidas y docenas de callejones sin salida. ahora todos asumen que la fase de implementación será instantánea. que porque tenemos la inteligencia, la economía simplemente se reconfigurará fluidamente a su alrededor. pero miro los sistemas en los que estamos tratando de inyectar estas cosas-- procesos humanos de carne y hueso-- se siente imposible no sentir esa misma sensación de dilatación temporal. hacer que el modelo funcione fue un problema tecnológico. hacer que el mundo funcione con él es cualquier cosa menos eso. el camino hacia la difusión económica real va a ser mucho más largo de lo que los mercados de capital permitirán. excepto que esta vez no es ibm quemando unos pocos miles de millones. son todos. cada mega empresa. cada startup. billones en capitalización de mercado apostando por cronogramas de implementación que asumen que las organizaciones humanas se comportan como productos tecnológicos. ...