Si un modelo no puede permitirse simular los átomos, se ve obligado a inventar la 'química' para predecir el resultado. Echa un vistazo a este fascinante nuevo preprint que proporciona una base teórica de la información junto con medidas cuantificables "De la entropía a la epiplexidad" de @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. El trabajo ofrece un estudio muy interesante que muestra que los observadores 'perfectos' y ilimitados no están obligados a aprender una estructura de nivel superior: simplemente pueden simular la microfísica. Por ejemplo, para descubrir leyes generalizables significativas (contenido estructural capturado por la epiplexidad), un sistema normalmente necesita estar acotado computacionalmente. Estas leyes pueden asemejarse a lo que los científicos denominan teoría del continuo o macroescala, pero capturan de forma innata el mapeo functorial en un modelo estructural agnóstico a la escala. Esto es extremadamente relevante para una variedad de aplicaciones en IA para la ciencia y el descubrimiento. También conecta bien con nuestros hallazgos empíricos anteriores con LifeGPT (Jaime Berkovich et al.). En este caso, al aplicar el Enmascaramiento Causal Olvidadizo, restringimos artificialmente la capacidad del modelo para basarse en la historia. El artículo ofrece una explicación de principios coherente con lo que encontramos: esta restricción obligaba al modelo a depender menos de pistas específicas de la historia y, en su lugar, a aprender dinámicas de alto nivel reutilizables del Juego de la Vida en un mundo con limitaciones computacionales. También coincide con nuestros resultados con AutomataGPT, donde encontramos que inferir el conjunto de reglas (el problema inverso) produce representaciones más ricas que la simulación directa. La teoría apoya la idea de que resolver la tarea inversa más difícil obliga al modelo a capturar una estructura causal eficiente en computo, extrayendo efectivamente el 'código fuente' del sistema en lugar de limitarse a igualar patrones o confiar en el cálculo por fuerza bruta. @JaimeBerkovich