Je pense que l'une des conclusions que nous devrions tirer du succès immense des LLM est combien de connaissances humaines et de société existent à des niveaux très bas de complexité de Kolmogorov. Nous entrons dans une ère où la représentation minimale d'un artefact culturel humain... (1/12)

...sera, de manière générale, un prompt LLM. Et ces prompts seront, de manière générale, des ordres de grandeur plus compacts que les artefacts eux-mêmes. Le grand succès des agents de codage, par exemple, indique que le code source de la plupart des artefacts logiciels est des ordres de... (2/12)

...d'une ampleur bien plus gonflée que la représentation algorithmique vraiment minimale requise pour spécifier cet artefact logiciel de manière sans ambiguïté. Il en va de même pour une grande partie de l'écriture humaine, de la recherche, de la communication. En étant de si efficaces décompresseurs d'informations algorithmiques, les LLM ont... (3/12)

...a trahi l'horreur de notre propre verbosité. Une partie de cette verbosité provient sans doute des limitations de nos langages de représentation formelle (comme les langages de programmation). Mais une partie semble également inhérente, probablement comme un moyen de correction des erreurs humaines. (4/12)

Lorsque le décompresseur prévu est très destructeur (comme un esprit humain), il semble judicieux de surspécifier la représentation avec de nombreux synonymes et des embellissements syntaxiques. Lorsque le décompresseur prévu est plus proche d'une perte parfaitement sans perte (comme les LLM le deviennent rapidement), cela a moins de sens. (5/12)

Les mathématiques et la physique représentent des cas de test intéressants. Le processus d'axiomatisation en mathématiques est une forme de compression algorithmique : tous les théorèmes vrais sont toujours "contenus" dans la représentation des axiomes et des règles d'inférence, mais le processus de... (6/12)

...décompresser cette représentation peut être arbitrairement difficile. Pourtant, les détails de la façon dont se déroulent les processus de décompression (preuve théorique) et de compression (mathématiques inverses) sont, en un sens, les véritables objets d'intérêt mathématique. Il en va de même pour la physique. (7/12)

On pourrait, si l'on était suffisamment naïf, affirmer que la physique consiste à trouver des compressions algorithmiques minimales de l'univers physique. Pourtant, ce sont finalement les détails de la (dé)compression qui comptent. Trouver simplement une représentation minimale de l'univers... (8/12)

...ne "résoudrait pas la physique", pas plus que la découverte des axiomes ZFC "n'a résolu les mathématiques". [Si l'on croit, comme moi, que l'univers peut finalement être modélisé en termes computationnels, alors en un sens cette représentation existe déjà : c'est une machine de Turing universelle.] (9/12)

Les LLMs sont des décompresseurs remarquablement efficaces d'informations algorithmiques, et leur succès dans la démonstration de théorèmes et le développement de logiciels en est un témoignage. Leurs capacités en matière de compression semblent actuellement moins claires. Pourtant, découvrir des représentations minimales,... (10/12)

...qu'ils soient des aphorismes spirituels ou des bons mots (dans lesquels les LLM actuels sont uniformément mauvais), ou les représentations axiomatiques compressées qui caractérisent la beauté mathématique (dans lesquelles les LLM actuels sont largement non testés), constituent l'un des traits distinctifs de l'intelligence humaine profonde. (11/12)

Je pense donc qu'il devient de plus en plus clair que l'efficacité et l'absence de perte, tant en compression qu'en décompression, représentent ensemble quatre axes potentiels le long desquels nous pouvons commencer à paramétrer l'espace des esprits (intelligents) possibles. Mais quels sont les autres ? (12/12)