Si un modèle ne peut pas se permettre de simuler les atomes, il est contraint d'inventer la 'chimie' pour prédire le résultat. Découvrez ce nouveau préprint fascinant qui fournit une base théorique de l'information ainsi que des mesures quantifiables "De l'Entropie à l'Épiplexité" par @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Ce travail offre une étude très intéressante montrant que des observateurs 'parfaits' non bornés ne sont pas contraints d'apprendre des structures de niveau supérieur - ils peuvent simplement simuler la micro-physique. Par exemple, pour découvrir des lois généralisables significatives (contenu structurel capturé par l'Épiplexité), un système doit généralement être limité sur le plan computationnel. Ces lois peuvent ressembler à ce que les scientifiques appellent la théorie du continuum ou la théorie macroscopique, mais elles capturent intrinsèquement le mappage fonctoriel dans un modèle structurel indifférent à l'échelle. Cela est extrêmement pertinent pour une gamme d'applications en IA pour la science et la découverte. Cela se connecte également bien avec nos précédentes découvertes empiriques avec LifeGPT (Jaime Berkovich et al.). Dans ce cas, en appliquant le Masquage Causal Oubliant, nous avons artificiellement contraint la capacité du modèle à s'appuyer sur l'histoire. L'article offre une explication principielle cohérente avec ce que nous avons trouvé : cette contrainte a forcé le modèle à s'appuyer moins sur des indices spécifiques à l'histoire et à apprendre plutôt des dynamiques de niveau supérieur réutilisables du Jeu de la Vie dans un monde limité en calcul. Cela s'aligne également avec nos résultats avec AutomataGPT, où nous avons constaté que l'inférence de l'ensemble de règles (le problème inverse) produit des représentations plus riches que la simulation directe. La théorie soutient l'idée que résoudre la tâche inverse plus difficile force le modèle à capturer une structure causale efficace en termes de calcul - extrayant effectivement le 'code source' du système plutôt que de simplement faire correspondre des motifs ou de s'appuyer sur un calcul de force brute.