Jeśli model nie może sobie pozwolić na symulację atomów, zmuszony jest do wynalezienia 'chemii', aby przewidzieć wynik. Sprawdź ten fascynujący nowy preprint, który dostarcza teoretycznych podstaw informacji wraz z mierzalnymi wskaźnikami "Od entropii do epipleksji" autorstwa @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Praca oferuje bardzo interesujące badanie, które pokazuje, że 'doskonałe' nieograniczone obserwatory nie są zmuszone do uczenia się wyższej struktury - mogą po prostu symulować mikro-fizykę. Na przykład, aby odkryć znaczące, uogólnione prawa (treść strukturalna uchwycona przez epipleksję), system zazwyczaj musi być ograniczony obliczeniowo. Te prawa mogą przypominać to, co naukowcy nazywają teorią ciągłości lub teorią makroskalową, ale w sposób wrodzony uchwycają funktorialne odwzorowanie w modelu strukturalnym niezależnym od skali. To jest niezwykle istotne dla szeregu zastosowań w AI w nauce i odkryciach. Dobrze łączy się również z naszymi wcześniejszymi empirycznymi odkryciami z LifeGPT (Jaime Berkovich i in.). W tym przypadku, stosując zapominające maskowanie przyczynowe, sztucznie ograniczyliśmy zdolność modelu do polegania na historii. Artykuł oferuje zasadnicze wyjaśnienie zgodne z tym, co odkryliśmy: to ograniczenie zmusiło model do mniejszego polegania na wskazówkach specyficznych dla historii i zamiast tego do nauki bardziej użytecznych wyższych dynamik Gry w Życie w świecie ograniczonym obliczeniowo. Zgadza się to również z naszymi wynikami z AutomataGPT, gdzie odkryliśmy, że wnioskowanie o zbiorze reguł (problem odwrotny) daje bogatsze reprezentacje niż symulacja do przodu. Teoria wspiera ideę, że rozwiązanie trudniejszego zadania odwrotnego zmusza model do uchwycenia efektywnej struktury przyczynowej - skutecznie wydobywając 'kod źródłowy' systemu, a nie tylko dopasowując wzory lub polegając na obliczeniach na siłę. @JaimeBerkovich