Si un modelo no puede permitirse simular los átomos, se ve obligado a inventar la 'química' para predecir el resultado. Echa un vistazo a este fascinante nuevo preprint que proporciona una base teórica de la información junto con medidas cuantificables "De la Entropía a la Epiplexidad" por @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. El trabajo ofrece un estudio muy interesante que muestra que los 'observadores' perfectos e ilimitados no están obligados a aprender estructuras de nivel superior; simplemente pueden simular la microfísica. Por ejemplo, para descubrir leyes generalizables significativas (contenido estructural capturado por la Epiplexidad), un sistema típicamente necesita estar computacionalmente limitado. Estas leyes pueden parecerse a lo que los científicos denominan teoría de continuum o teoría a macroscale, pero capturan de manera innata el mapeo functorial en un modelo estructural agnóstico a la escala. Esto es extremadamente relevante para una variedad de aplicaciones en IA para la ciencia y el descubrimiento. También se conecta bien con nuestros hallazgos empíricos anteriores con LifeGPT (Jaime Berkovich et al.). En este caso, al aplicar el Enmascaramiento Causal Olvidadizo, restringimos artificialmente la capacidad del modelo para depender de la historia. El artículo ofrece una explicación fundamentada consistente con lo que encontramos: esta restricción obligó al modelo a depender menos de las pistas específicas de la historia y, en cambio, aprender dinámicas de nivel superior más reutilizables del Juego de la Vida en un mundo con limitaciones computacionales. También se alinea con nuestros resultados con AutomataGPT, donde encontramos que inferir el conjunto de reglas (el problema inverso) produce representaciones más ricas que la simulación hacia adelante. La teoría apoya la idea de que resolver la tarea inversa más difícil obliga al modelo a capturar una estructura causal eficiente en términos de computación, extrayendo efectivamente el 'código fuente' del sistema en lugar de simplemente igualar patrones o depender de la computación a fuerza bruta. @JaimeBerkovich