Lee el excelente artículo de Wolfram "¿Qué está haciendo ChatGPT...?" (h/t @danielrock). Él escribe que aprendimos mucho sobre cómo funciona el lenguaje a partir del hecho de que GPT-3, con solo 175 mil millones de pesos, es capaz de emularlo tan bien. Esto implica que es computacionalmente mucho más simple de lo que podríamos haber pensado. Pero, ¿qué pasa con las matemáticas? En el momento en que se escribió esto (2023), GPT todavía era muy malo en matemáticas. Los modelos se volvieron muy (muy) buenos en matemáticas cuando salió el primer modelo de razonamiento (o1), que dependía mucho más del aprendizaje por refuerzo en lugar de solo del preentrenamiento por fuerza bruta. ¿Te preguntas qué dice esto sobre las matemáticas? Conceptualmente, el lenguaje es mucho más "borroso" que las matemáticas: múltiples palabras pueden sonar "correctas" en el mismo lugar de una oración. Esto es lo que hace que la arquitectura LLM probabilística funcione. Las matemáticas son menos borrosas. Quizás por eso el paso de RL más "basado en reglas" fue crucial. Pero esto también implica que las matemáticas formales son menos complejas computacionalmente de lo que pensábamos. ¿Opiniones? @littmath @alz_zyd_