LeCun ist seit Jahren der aggressivste Kritiker des Konsenses über Transformer/LLM, und dies ist sein Meisterwerk. "Ein großer Teil der Sensordaten aus der realen Welt ist unvorhersehbar, und generative Ansätze funktionieren nicht gut." Das fasst im Grunde seine Ansicht zusammen, dass echte Intelligenz nicht allein durch die Skalierung der Textvorhersage entstehen kann. Ob er recht hat oder nicht, ich bin gespannt, eine weitere Denkrichtung auf dem Markt zu sehen, die in gewisser Weise die Handlungsmacht zurück in die physische Welt bringt. Es ist "wert, ein Auge darauf zu haben" :)

Es gibt tatsächlich einen sehr guten Grund, warum die meisten Menschen von Natur aus skeptisch gegenüber den Grenzen von LLM sind, und niemand macht es besser als Judea Pearl, der es über "die Leiter der Kausalität" erklärt. Im Grunde gibt es drei Sprossen in dieser Leiter des Denkens - Sprosse 1 ist "Assoziation", wo man Korrelationen in Daten beobachtet. "Menschen, die Feuerzeuge tragen, haben eine höhere Wahrscheinlichkeit, Lungenkrebs zu bekommen" - so etwas. Das ist es, was der Transformer außergewöhnlich gut mit unendlichem Maßstab macht. Sprosse 2 ist "Intervention", was bedeutet, zu verstehen, was passiert, wenn man tatsächlich ETWAS tut, und bildet die Grundlage der "wissenschaftlichen Methode", die wir alle in der Grundschule gelernt haben. "Wenn ich jemanden dazu BRINGE, ein Feuerzeug zu tragen, verursacht das Krebs?" Sprosse 3 sind die "Kontrafaktizitäten", wo man darüber nachdenkt, was passiert wäre, wenn man xyz getan hätte. Es ist im Grunde die höchste Form des Denkens, nämlich retrospektives kausales Denken. Das ist die Grundlage der Moralphilosophie. Im Grunde gibt es keine Menge an Rechenleistung, die dir helfen wird, von Sprosse 1 zu Sprosse 2 oder 3 zu gelangen (die für mich mehr die menschliche Erfahrung von Intelligenz repräsentieren). Das erfordert kausale Graphen, was bedeutet, dass man strukturierte Beobachtungen haben muss. Das ist grundlegend anders als die Transformer-Architektur, die im Grunde nur Kurvenanpassung ist. Ich denke, ein großer Teil der realen Zögerlichkeit gegenüber dieser Sichtweise von unbegrenzten "Alles oder Nichts"-Ausgaben im aktuellen KI-Meta ist, dass der Gewinn tatsächlich begrenzter ist, als Investoren und Wissenschaftler gleichermaßen denken würden, ohne zu einigen grundlegenden Wahrheiten zurückzukehren.