NEUES PAPIER: LLMs sind unglaublich gut darin, Dinge zu erklären, und schrecklich darin, sie zu tun. Fragen Sie ein Modell "wie" man zwei Dezimalzahlen vergleicht, und es gibt Ihnen einen perfekten Schritt-für-Schritt-Algorithmus. Fragen Sie es, tatsächlich den Vergleich zu "machen"... und plötzlich heißt es: „9.11 ist größer als 9.9, weil 90 mehr als 11 ist.“ Forscher nennen dies das "computational split-brain syndrome". LLMs entwickeln einen Weg, um ein Verfahren zu erklären, und einen völlig anderen Weg, um es auszuführen. Diese beiden Wege leben in verschiedenen Teilen der Geometrie des Modells (wie in den t-SNE-Diagrammen auf den Seiten 14–16 dieses Papiers gezeigt) und sie kommunizieren nicht miteinander. Deshalb kann ein Modell Ihnen lange Division beibringen, aber es kann es nicht zuverlässig durchführen. Oder warum es logische Regeln artikulieren kann, aber grundlegende Inferenz nicht schafft. Oder warum es makellose Sprache und brüchiges Denken produziert. Erklärung ist Mustererinnerung. Ausführung ist Berechnung. LLMs sind im ersten hervorragend und kämpfen grundlegend mit dem zweiten. Tief im Inneren der Architektur verschwimmen Einbettungen Bedeutungen, die Menschen getrennt halten. Das Papier gibt ein lustiges Beispiel: „9.11“ sitzt näher bei „11. September“ als bei „neun Punkt elf“, weil Token-Einbettungen über jeden Kontext, den sie gesehen haben, gemittelt werden. Diese „kontextuelle Kontamination“ macht sauberes symbolisches Denken unmöglich. Darüber hinaus... Transformatoren können nur „gewichtete Durchschnitte“ dessen produzieren, was sie gesehen haben. Sie können keine neuen symbolischen Werte wie „3354“ aus „43 × 78“ mit tatsächlicher Mathematik generieren. ...