NOUVEAU DOCUMENT : Les LLMs sont incroyables pour expliquer des choses et terribles pour les réaliser. Demandez à un modèle "comment" comparer deux décimales, et il vous donnera un algorithme parfait étape par étape. Demandez-lui de réellement "faire" la comparaison… et soudainement “9.11 est supérieur à 9.9 parce que 90 est plus que 11.” Les chercheurs appellent cela le "syndrome du cerveau divisé computationnel". Les LLMs développent un chemin pour expliquer une procédure, et un chemin complètement différent pour l'exécuter. Ces deux chemins vivent dans différentes parties de la géométrie du modèle (comme montré dans les graphiques t-SNE aux pages 14–16 de ce document) et ils ne communiquent pas entre eux. C'est pourquoi un modèle peut vous enseigner la division longue mais ne peut pas le faire de manière fiable. Ou pourquoi il peut articuler des règles logiques tout en échouant à des inférences basiques. Ou pourquoi il produit un langage impeccable et un raisonnement fragile. L'explication est un rappel de motifs. L'exécution est un calcul. Les LLMs excellent dans le premier et luttent fondamentalement avec le second. Au fond de l'architecture, les embeddings brouillent les significations que les humains gardent séparées. Le document donne un exemple hilarant : “9.11” est plus proche de "11 septembre" que de "neuf point onze" parce que les embeddings de tokens moyennent à travers chaque contexte qu'ils ont vu. Cette “contamination contextuelle” rend le raisonnement symbolique propre impossible. De plus... Les Transformers ne peuvent produire que des "moyennes pondérées" de ce qu'ils ont vu. Ils ne peuvent pas générer de nouvelles valeurs symboliques comme “3354” à partir de “43 × 78” en utilisant des mathématiques réelles. ...