Lee el excelente libro de Wolfram "¿Qué está haciendo ChatGPT..." (Gracias @danielrock). Escribe que aprendimos mucho sobre cómo funciona el lenguaje por el hecho de que GPT3, con solo 175 mil millones de pesos, es capaz de emularlo tan bien. Esto implica que computacionalmente es mucho más sencillo de lo que podríamos haber pensado. ¿Pero qué pasa con las matemáticas? Cuando se escribió esto (2023), GPT seguía siendo muy malo en matemáticas. Los modelos se volvieron muy (muy) buenos en matemáticas cuando salió el primer modelo de razonamiento (o1), que dependía mucho más del aprendizaje por refuerzo que del preentrenamiento por fuerza bruta. ¿Me pregunto qué dice esto sobre las matemáticas? Conceptualmente, el lenguaje es mucho más "difuso" que las matemáticas: varias palabras pueden sonar "bien" en el mismo punto de una oración. Esto es lo que hace que la arquitectura probabilística de un LLM funcione. Las matemáticas son menos borrosas. Quizá por eso el paso más "basado en reglas" en la vida real fue crucial. Pero esto también implica que las matemáticas formales son menos complejas computacionalmente de lo que pensábamos. ¿Pensamientos? @littmath @alz_zyd_