Wenn ein Modell sich die Atome nicht leisten kann zu simulieren, ist es gezwungen, die 'Chemie' zu erfinden, um das Ergebnis vorherzusagen. Schaut euch diesen faszinierenden neuen Preprint an, der eine informationstheoretische Grundlage sowie quantifizierbare Maße bietet: "Von Entropie zu Epiplexität" von @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Die Arbeit bietet eine sehr interessante Studie, die zeigt, dass 'perfekte' unbegrenzte Beobachter nicht gezwungen sind, höhere Strukturen zu lernen - sie können einfach die Mikro-Physik simulieren. Um beispielsweise bedeutungsvolle, verallgemeinerbare Gesetze (struktureller Inhalt, der durch Epiplexität erfasst wird) zu entdecken, muss ein System typischerweise rechnerisch begrenzt sein. Diese Gesetze können dem ähneln, was Wissenschaftler als Kontinuum- oder Makroskala-Theorie bezeichnen, aber sie erfassen von Natur aus die funktorielle Abbildung in ein skaleneutrales strukturelles Modell. Dies ist äußerst relevant für eine Reihe von Anwendungen in der KI für Wissenschaft und Entdeckung. Es verbindet sich auch gut mit unseren früheren empirischen Ergebnissen mit LifeGPT (Jaime Berkovich et al.). In diesem Fall haben wir durch die Anwendung von Forgetful Causal Masking die Fähigkeit des Modells, sich auf die Geschichte zu verlassen, künstlich eingeschränkt. Das Papier bietet eine prinzipielle Erklärung, die mit dem übereinstimmt, was wir gefunden haben: Diese Einschränkung zwang das Modell, weniger auf geschichtsspezifische Hinweise zu vertrauen und stattdessen mehr wiederverwendbare höhere Dynamiken des Spiels des Lebens in einer rechnerisch eingeschränkten Welt zu lernen. Es stimmt auch mit unseren Ergebnissen mit AutomataGPT überein, wo wir festgestellt haben, dass das Ableiten des Regelsets (das inverse Problem) reichhaltigere Darstellungen liefert als die Vorwärtssimulation. Die Theorie unterstützt die Idee, dass das Lösen der schwierigeren inversen Aufgabe das Modell zwingt, eine recheneffiziente kausale Struktur zu erfassen - effektiv den 'Quellcode' des Systems zu extrahieren, anstatt nur Muster zu erkennen oder sich auf brute-force Berechnungen zu verlassen. @JaimeBerkovich