Physische KI vor 10 Jahren: Baby-Roboter erfindet eigene Experimente, um sein neuronales Weltmodell zu verbessern. Kompella, Stollenga, Luciw, Schmidhuber. Kontinuierliche, neugiergesteuerte Fähigkeitenakquisition aus hochdimensionalen Videoeingaben für humanoide Roboter. Künstliche Intelligenz, 2015

Vor 1 Jahrzehnt: Prompt Engineer für Verstärkendes Lernen in Abschnitt 5.3 von «Learning to Think …» [2]. Adaptive Denkkette! Ein RL-Netz lernt, ein anderes Netz für abstraktes Denken und Entscheidungsfindung abzufragen. Über das Weltmodell von 1990 hinaus für Millisekunden-zu-Millisekunden-Planung [1].  [2] J. Schmidhuber (JS, 2015). «On Learning to Think: Algorithmic Information Theory for Novel Combinations of RL Controllers and Recurrent Neural World Models.» ArXiv 1210.0118  [1] JS (1990). “Making the world differentiable: On using fully recurrent self-supervised neural networks for dynamic reinforcement learning and planning in non-stationary environments.” TR FKI-126-90, TUM. (Dieser Bericht führte auch künstliche Neugier und intrinsische Motivation durch generative gegnerische Netzwerke ein.)

Vor 10 Jahren, im Mai 2015, veröffentlichten wir die ersten funktionierenden, sehr tiefen, gradientenbasierten Feedforward-Neuronalen Netzwerke (FNNs) mit Hunderten von Schichten (frühere FNNs hatten maximal einige Dutzend Schichten). Um das Problem des verschwindenden Gradienten zu überwinden, verwendeten unsere Highway-Netzwerke die Residualverbindungen, die 1991 von @HochreiterSepp eingeführt wurden, um einen konstanten Fehlerfluss in rekurrenten NNs (RNNs) zu erreichen, gesteuert durch multiplikative Tore, ähnlich den Vergessenstoren (Gers et al., 1999) unseres sehr tiefen LSTM-RNN. Highway-NNs wurden durch die Arbeit meiner ehemaligen Doktoranden @rupspace und Klaus Greff möglich gemacht. Wenn die Highway-NN-Tore auf 1,0 gesetzt werden, erhalten wir effektiv das ResNet, das 7 Monate später veröffentlicht wurde. Deep Learning dreht sich alles um die Tiefe der NNs. LSTMs brachten im Wesentlichen unbegrenzte Tiefe zu rekurrenten NNs; Highway Nets brachten sie zu Feedforward-NNs.

1991: erste Destillation von neuronalen Netzwerken [1-3]. Ich nannte es damals "collapsing", nicht "distilling". Referenzen [1] J. Schmidhuber (1991). Neuronale Sequenzchunker. Tech Report FKI-148-91, Technische Universität München. Abschnitt 3.2.2. & Abschnitt 4 handeln von "collapsing" oder "distilling" oder "compressing" des Wissens eines neuronalen Netzwerks in ein anderes neuronales Netzwerk. [2] JS (1992). Lernen komplexer, erweiterter Sequenzen unter Verwendung des Prinzips der Geschichtsverdichtung. Neural Computation, 4(2):234-242, 1992. Basierend auf [1]. [3] JS (AI Blog, 2021, aktualisiert 2025). 1991: Erstes sehr tiefes Lernen mit unbeaufsichtigtem Pre-Training. Erste Destillation eines neuronalen Netzwerks.

Alle reden jetzt über rekursive Selbstverbesserung und Gödel Machines und wie dies zu AGI führen wird. Was für eine Veränderung im Vergleich zu vor 15 Jahren! Wir hatten die AGI'2010 in Lugano und leiteten die AGI'2011 bei Google. Das Rückgrat der AGI-Konferenzen war die mathematisch optimale universelle KI: die Gödel-Maschine von 2003 (und AIXI von @mhutter42 - siehe sein UAI-Buch von 2005 und das jüngste Update von 2024 ( Ich bin stolz darauf, dass Marcus Hutters AIXI-Arbeit durch mein Stipendium des Schweizer SNF im Jahr 2000 finanziert wurde, als er Postdoc am IDSIA war.

AGI? Eines Tages, aber noch nicht. Die einzige KI, die im Moment gut funktioniert, ist die hinter dem Bildschirm [12-17]. Aber das Bestehen des Turing-Tests [9] hinter einem Bildschirm ist im Vergleich zu echter KI für echte Roboter in der realen Welt einfach. Kein aktueller KI-gesteuerter Roboter könnte als Klempner zertifiziert werden [13-17]. Daher ist der Turing-Test kein gutes Maß für Intelligenz (und der IQ auch nicht). Und AGI ohne Beherrschung der physischen Welt ist kein AGI. Deshalb habe ich 2004 das TUM CogBotLab für lernende Roboter gegründet [5], 2014 ein Unternehmen für KI in der physischen Welt mitgegründet [6] und Teams an der TUM, IDSIA und jetzt KAUST an Babyrobotern arbeiten lassen [4,10-11,18]. Solche weichen Roboter imitieren nicht nur sklavisch Menschen und funktionieren nicht, indem sie einfach wie LLMs/VLMs das Internet herunterladen. Nein. Stattdessen nutzen sie die Prinzipien der künstlichen Neugier, um ihre neuronalen Weltmodelle zu verbessern (zwei Begriffe, die ich bereits 1990 verwendet habe [1-4]). Diese Roboter arbeiten mit vielen Sensoren, aber nur mit schwachen Aktuatoren, so dass sie sich nicht so leicht selbst verletzen können [18], wenn sie durch die Konzeption und Durchführung ihrer selbst erfundenen Experimente nützliche Daten sammeln. Bemerkenswert ist, dass sich seit den 1970er Jahren viele über mein altes Ziel lustig gemacht haben, eine sich selbst verbessernde AGI aufzubauen, die klüger ist als ich selbst, und dann in den Ruhestand zu gehen. In letzter Zeit haben viele jedoch endlich begonnen, dies ernst zu nehmen, und jetzt sind einige von ihnen plötzlich ZU optimistisch. Diese Menschen sind sich oft nicht bewusst, welche Herausforderungen wir noch lösen müssen, um echte KI zu erreichen. Mein TED-Talk 2024 [15] fasst einiges davon zusammen. REFERENZEN (leicht im Web zu finden): [1] J. Schmidhuber. Die Welt differenzierbar machen: Über die Verwendung von vollständig rekurrenten, selbstüberwachten neuronalen Netzen (NNs) für dynamisches Verstärkungslernen und Planen in nicht-stationären Umgebungen. TR FKI-126-90, TUM, Feb 1990, überarbeitet Nov 1990. In diesem Artikel wurden auch künstliche Neugier und intrinsische Motivation durch generative gegnerische Netzwerke eingeführt, bei denen ein Generator NN gegen einen Prädiktor NN in einem Minimax-Spiel kämpft. [2] J. S. Eine Möglichkeit, Neugier und Langeweile in modellbildenden neuronalen Controllern zu implementieren. In J. A. Meyer und S. W. Wilson, Herausgeber, Proc. of the International Conference on Simulation of Adaptive Behavior: From Animals to Etimats, Seiten 222-227. MIT Press/Bradford Books, 1991. Basierend auf [1]. [3] J.S. KI-Blog (2020). 1990: Planung & Reinforcement Learning mit rekurrenten Weltmodellen und künstlicher Neugier. Zusammenfassung von Aspekten von [1][2] und vielen späteren Arbeiten, einschließlich [7][8]. [4] J.S. AI Blog (2021): Künstliche Neugier und Kreativität seit 1990. Zusammenfassung von Aspekten von [1][2] und vielen späteren Arbeiten, einschließlich [7][8]. [5] J.S. TU München CogBotLab für lernende Roboter (2004-2009) [6] NNAISENSE, gegründet 2014, für KI in der physischen Welt [7] J.S. (2015). Über das Erlernen des Denkens: Algorithmische Informationstheorie für neuartige Kombinationen von Reinforcement Learning (RL)-Controllern und rekurrenten neuronalen Weltmodellen. arXiv 1210.0118. Abschnitt 5.3 beschreibt einen RL-Prompt-Ingenieur, der lernt, sein Modell für abstraktes Denken sowie Planung und Entscheidungsfindung abzufragen. Heute wird dies als "Gedankenkette" bezeichnet. [8] J.S. (2018). Ein großes Netz für alles. arXiv 1802.08864. Siehe auch Patent US11853886B2 und meinen DeepSeek-Tweet: DeepSeek verwendet Elemente des Reinforcement Learning Prompt Engineer [7] von 2015 und seiner Verfeinerung von 2018 [8], die die RL-Maschine und das Weltmodell von [7] in einem einzigen Netz zusammenfasst. Dabei wird mein Verfahren zur Destillation neuronaler Netze von 1991 verwendet: ein destilliertes Denkkettensystem. [9] J.S. Turing überverkauft. Es ist jedoch nicht Turings Schuld. AI Blog (2021, war #1 auf Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (Intelligente Roboter werden vom Leben fasziniert sein.) F.A.Z., 2015 [11] J.S. bei Falling Walls: Die Vergangenheit, Gegenwart und Zukunft der künstlichen Intelligenz. Wissenschaftlicher Amerikaner, Beobachtungen, 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (KI ist eine große Chance für Deutschland.) F.A.Z., 2018 [13] H. Jones. J.S. sagt, dass sein Lebenswerk nicht in die Dystopie führen wird. Forbes Magazin, 2023. [14] Interview mit J.S. Jazzyear, Shanghai, 2024. [15] J.S. TED Vortrag bei TED AI Vienna (2024): Warum 2042 ein großes Jahr für KI sein wird. Sehen Sie sich den beigefügten Videoclip an. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (Baue den KI-gesteuerten Allzweckroboter!) F.A.Z., 2024 [17] J.S. 1995-2025: Der Niedergang Deutschlands und Japans im Vergleich zu den USA und China. Können Allzweckroboter ein Comeback befeuern? AI Blog, Januar 2025, basierend auf [16]. [18] M. Alhakami, D. R. Ashley, J. Dunham, Y. Dai, F. Faccio, E. Feron, J. Schmidhuber. Auf dem Weg zu einem extrem robusten Babyroboter mit reichhaltiger Interaktionsfähigkeit für fortschrittliche Algorithmen des maschinellen Lernens. Vorabdruck arxiv 2404.08093, 2024.

DeepSeek [1] verwendet Elemente des 2015 entwickelten Prompt-Engineers für verstärkendes Lernen [2] und dessen Verfeinerung von 2018 [3], die das RL-Maschinen- und Weltmodell von [2] in ein einzelnes Netz durch das Verfahren der neuronalen Netz-Destillation von 1991 [4] zusammenführt: ein destilliertes Denk-Kettensystem. REFERENZEN (einfach im Internet zu finden): [1] #DeepSeekR1 (2025): Anreizsetzung für die Denkfähigkeit in LLMs durch verstärkendes Lernen. arXiv 2501.12948 [2] J. Schmidhuber (JS, 2015). Über das Lernen zu denken: Algorithmische Informationstheorie für neuartige Kombinationen von verstärkenden Lerncontrollern und rekurrenten neuronalen Weltmodellen. arXiv 1210.0118. Abschnitt 5.3 beschreibt den Prompt-Engineer für verstärkendes Lernen (RL), der lernt, aktiv und iterativ sein Modell für abstraktes Denken sowie Planung und Entscheidungsfindung abzufragen. [3] JS (2018). Ein großes Netz für alles. arXiv 1802.08864. Siehe auch US11853886B2. Dieses Papier führt den Verstärkungslerner und das Weltmodell von [2] (z. B. ein Fundamentmodell) in ein einzelnes Netzwerk zusammen, wobei das Verfahren der neuronalen Netz-Destillation von 1991 [4] verwendet wird. Im Wesentlichen handelt es sich um ein RL "Denk-Ketten"-System, bei dem nachfolgende Verbesserungen kontinuierlich in ein einzelnes Netz destilliert werden. Siehe auch [5]. [4] JS (1991). Lernen komplexer, erweiterter Sequenzen unter Verwendung des Prinzips der Geschichtskompression. Neural Computation, 4(2):234-242, 1992. Basierend auf TR FKI-148-91, TUM, 1991. Der erste funktionierende Deep Learner basierend auf einer tiefen rekurrenten neuronalen Netz-Hierarchie (mit unterschiedlichen selbstorganisierenden Zeitmaßstäben), der das Problem des verschwindenden Gradienten durch unüberwachtes Pre-Training (das P in CHatGPT) und prädiktive Kodierung überwindet. Auch: Komprimierung oder Destillation eines Lehrer-Netzes (der Chunker) in ein Schüler-Netz (der Automatizer), das seine alten Fähigkeiten nicht vergisst - solche Ansätze sind mittlerweile weit verbreitet. Siehe auch [6]. [5] JS (AI Blog, 2020). 30-jähriges Jubiläum der Planung & des verstärkenden Lernens mit rekurrenten Weltmodellen und künstlicher Neugier (1990, Einführung hochdimensionaler Belohnungssignale und des GAN-Prinzips). Enthält Zusammenfassungen von [2][3] oben. [6] JS (AI Blog, 2021). 30-jähriges Jubiläum: Erstes sehr tiefes Lernen mit unüberwachtem Pre-Training (1991) [4]. Unüberwachtes hierarchisches prädiktives Kodieren findet kompakte interne Darstellungen sequentieller Daten, um das nachgelagerte Lernen zu erleichtern. Die Hierarchie kann [4] in ein einzelnes tiefes neuronales Netzwerk destilliert werden. 1993: Lösung von Problemen der Tiefe >1000.

Der #NobelPrize in Physik 2024 für Hopfield & Hinton entpuppt sich als Nobelpreis für Plagiate. Sie veröffentlichten Methoden, die in #Ukraine und #Japan von Ivakhnenko und Amari in den 1960er und 1970er Jahren entwickelt wurden, sowie andere Techniken neu, ohne die ursprünglichen Erfinder zu zitieren. Keiner der wichtigen Algorithmen für moderne KI wurde von Hopfield & Hinton entwickelt. Heute veröffentliche ich einen ausführlichen Tech-Report zu diesem Thema [NOB]: Natürlich habe ich es von Pionieren neuronaler Netze und KI-Experten überprüfen lassen, um sicherzustellen, dass es unangreifbar ist. Ist es jetzt akzeptabel, dass ich junge Doktoranden anweist, alte Arbeiten zu lesen und sie so umzuschreiben und einzureichen, als wären es ihre eigenen Arbeiten? Was auch immer die Absicht ist, diese Auszeichnung sagt, ja, das ist völlig in Ordnung. Einige Personen haben aufgrund von Plagiaten ihre Titel oder Jobs verloren, z.B. der ehemalige Präsident von Harvard [PLAG7]. Aber wie können Betreuer nach diesem Nobelpreis ihren Studenten weiterhin sagen, dass sie Plagiate um jeden Preis vermeiden sollten? Es ist allgemein bekannt, dass Plagiate entweder "unabsichtlich" oder "vorsätzlich oder rücksichtslos" sein können [PLAG1-6], und das harmlosere der beiden kann hier sehr wohl teilweise der Fall sein. Aber die Wissenschaft hat einen gut etablierten Umgang mit "Mehrfachentdeckungen" und Plagiaten - sei es unbeabsichtigt [PLAG1-6][CONN21] oder nicht [FAKE,FAKE2] - basierend auf Fakten wie Zeitstempeln von Publikationen und Patenten. Die Deontologie der Wissenschaft verlangt, dass unbeabsichtigte Plagiatoren ihre Veröffentlichungen durch Errata korrigieren und dann in Zukunft die Originalquellen ordnungsgemäß angeben. Die Preisträger taten es nicht; Stattdessen sammelten die Preisträger weiterhin Zitate für Erfindungen anderer Forscher [NOB][DLP]. Macht dieses Verhalten nicht auch unbeabsichtigtes Plagiat [PLAG1-6] zu einer absichtlichen Form [FAKE2]? Ich bin wirklich besorgt über die Botschaft, die dies an all diese jungen Studenten da draußen sendet. REFERENZEN [NOB] J. Schmidhuber (2024). Ein Nobelpreis für Plagiate. Technischer Bericht IDSIA-24-24. [NOB+] Tweet: Der #NobelPrize in Physik 2024 für Hopfield & Hinton belohnt Plagiate und falsche Zuschreibungen in der Informatik. Es geht vor allem um Amari ́s "Hopfield Network" und die "Boltzmann Machine". (1/7 so beliebt wie die ursprüngliche Ankündigung der Nobelstiftung) [DLP] J. Schmidhuber (2023). Wie 3 Turing-Preisträger Schlüsselmethoden und -ideen neu veröffentlichten, deren Schöpfer sie nicht würdigten. Technischer Bericht IDSIA-23-23, Swiss AI Lab IDSIA, 14. Dezember 2023. [DLP+] Tweet für [DLP]: [PLAG1] Oxfords Leitfaden für Arten von Plagiaten (2021). Zitat: "Plagiate können absichtlich, rücksichtslos oder unabsichtlich sein." [PLAG2] Jackson State Community College (2022). Unbeabsichtigtes Plagiat. [PLAG3] R. L. Foster. Vermeidung von unbeabsichtigten Plagiaten. Zeitschrift für Spezialisten für Kinderkrankenpflege; Hoboken Vol. 12, Iss. 1, 2007. [PLAG4] N. Das. Ob absichtlich oder unabsichtlich, es ist nie in Ordnung, zu plagiieren: Ein Hinweis darauf, wie indische Universitäten zum Umgang mit Plagiaten geraten werden. Perspect Clin Res 9:56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). Was ist ein unbeabsichtigtes Plagiat? [PLAG6] (2022). So vermeiden Sie versehentliche und unbeabsichtigte Plagiate (2023). Kopieren Sie in das Internet Archive. Zitat: "Ob es versehentlich oder absichtlich ist, ein Plagiat ist immer noch ein Plagiat." [PLAG7] Cornell Review, 2024. Harvard-Präsident tritt wegen Plagiatsskandal zurück. 6. Januar 2024. [FAKE] H. Hopf, A. Krief, G. Mehta, S. A. Matlin. Fake Science und die Wissenskrise: Unwissenheit kann tödlich sein. Offene Wissenschaft der Royal Society, Mai 2019. Zitat: "Wissenschaftler müssen bereit sein, ihre Stimme zu erheben, wenn sie sehen, dass falsche Informationen in sozialen Medien, traditioneller Print- oder Rundfunkpresse präsentiert werden" und "müssen sich gegen falsche Informationen und gefälschte Wissenschaft im Umlauf aussprechen und Persönlichkeiten des öffentlichen Lebens, die sie fördern, energisch widersprechen". [FAKE2] L. Stenflo. Intelligente Plagiatoren sind am gefährlichsten. Nature, Bd. 427, S. 777 (Februar 2004). Zitat: "Was meiner Meinung nach schlimmer ist, sind Fälle, in denen Wissenschaftler frühere Erkenntnisse in anderen Worten umschreiben, die Quellen ihrer Ideen absichtlich verbergen und dann in den folgenden Jahren mit Nachdruck behaupten, sie hätten neue Phänomene entdeckt."