¿Qué tan buenos son los LLMs en razonamiento sin cadena de pensamiento (dentro de una sola pasada hacia adelante)? Estimo un horizonte temporal sin cadena de pensamiento en problemas matemáticos y encuentro que Opus 4.5 tiene un horizonte temporal de 3.5 minutos (advertencia: los tiempos humanos son solo estimaciones). Consulta la publicación para más información:

Aparentemente, Opus 4.5 tiene memorizado el MATH de Hendrycks (incluido el conjunto de pruebas) y todos los AIMEs anteriores también. El modelo acierta como un 80-90% cuando suelta el número inmediatamente sin ningún razonamiento. Es molesto experimentar con conjuntos de datos de matemáticas...

Anthropic ahora ha aclarado esto en su tarjeta de sistema para Claude Haiku 4.5. ¡Gracias!