Fysieke AI 10 jaar geleden: babyrobot uitvindt zijn eigen experimenten om zijn neurale wereldmodel te verbeteren Kompella, Stollenga, Luciw, Schmidhuber. Voortdurende nieuwsgierigheid-gedreven vaardigheidsverwerving uit hoogdimensionale video-invoer voor humanoïde robots. Kunstmatige Intelligentie, 2015

1 decennium geleden: Reinforcement Learning Prompt Engineer in Sec. 5.3 van «Learning to Think …» [2]. Adaptieve Denkketen! Een RL-netwerk leert een ander netwerk te ondervragen voor abstract redeneren en besluitvorming. Voorbij het World Model van 1990 voor milliseconde-voor-milliseconde planning [1].  [2] J. Schmidhuber (JS, 2015). «On Learning to Think: Algorithmic Information Theory for Novel Combinations of RL Controllers and Recurrent Neural World Models.» ArXiv 1210.0118  [1] JS (1990). “Making the world differentiable: On using fully recurrent self-supervised neural networks for dynamic reinforcement learning and planning in non-stationary environments.” TR FKI-126-90, TUM. (Dit rapport introduceerde ook kunstmatige nieuwsgierigheid en intrinsieke motivatie door middel van generatieve adversariële netwerken.)

10 jaar geleden, in mei 2015, publiceerden we de eerste werkende zeer diepe op gradienten gebaseerde feedforward neurale netwerken (FNN's) met honderden lagen (vorige FNN's hadden een maximum van een paar dozijn lagen). Om het probleem van de verdwijnende gradient te overwinnen, gebruikten onze Highway Networks de residuele verbindingen die voor het eerst in 1991 door @HochreiterSepp werden geïntroduceerd om een constante foutstroom in recurrente neurale netwerken (RNN's) te bereiken, gated door multiplicatieve poorten die vergelijkbaar zijn met de vergeetpoorten (Gers et al., 1999) van onze zeer diepe LSTM RNN. Highway NNs werden mogelijk gemaakt door het werk van mijn voormalige PhD-studenten @rupspace en Klaus Greff. Het instellen van de Highway NN-poorten op 1.0 geeft ons effectief de ResNet die 7 maanden later werd gepubliceerd. Diep leren draait allemaal om de diepte van neurale netwerken. LSTM's brachten in wezen onbeperkte diepte naar recurrente neurale netwerken; Highway Nets brachten het naar feedforward neurale netwerken.

Mijn openbare interview voor "Aprendemos Juntos" (Madrid, augustus 2024) staat al 7 maanden op YouTube. Mijn openbare interview voor "Aprendemos Juntos" (Madrid, augustus 2024) staat al 7 maanden op YouTube.

1991: eerste distillatie van neurale netwerken [1-3]. Ik noemde het toen "collapsing," niet "distilling." Referenties [1] J. Schmidhuber (1991). Neurale sequentie chunkers. Tech Report FKI-148-91, Tech Univ. München. Sectie 3.2.2. & Sectie 4 gaan over "collapsing" of "distilling" of "compressing" van de kennis van een neuraal netwerk naar een ander neuraal netwerk. [2] JS (1992). Leren van complexe, uitgebreide sequenties met behulp van het principe van geschiedeniscompressie. Neural Computation, 4(2):234-242, 1992. Gebaseerd op [1]. [3] JS (AI Blog, 2021, bijgewerkt 2025). 1991: Eerste zeer diepe leren met onbewaakte voortraining. Eerste distillatie van neurale netwerken.

Iedereen heeft het over recursieve zelfverbetering en Gödel Machines nu en hoe dit zal leiden tot AGI. Wat een verandering ten opzichte van 15 jaar geleden! We hadden AGI'2010 in Lugano en waren voorzitter van AGI'2011 bij Google. De ruggengraat van de AGI-conferenties was wiskundig optimale universele AI: de Gödel-machine uit 2003 (en de AIXI van @mhutter42 - zie zijn UAI-boek uit 2005 en de recente update uit 2024 ( Ik ben er trots op dat het AIXI-werk van Marcus Hutter werd gefinancierd door mijn Zwitserse SNF-beurs uit 2000 toen hij postdoc was bij IDSIA.

AGI? Op een dag, maar nu nog niet. De enige AI die op dit moment goed werkt, is die achter het scherm [12-17]. Maar het slagen voor de Turing-test [9] achter een scherm is eenvoudig vergeleken met echte AI voor echte robots in de echte wereld. Geen enkele huidige AI-gestuurde robot kan worden gecertificeerd als loodgieter [13-17]. Daarom is de Turing-test geen goede maatstaf voor intelligentie (en IQ ook niet). En AGI zonder beheersing van de fysieke wereld is geen AGI. Daarom heb ik in 2004 het TUM CogBotLab voor lerende robots opgericht [5], ben ik in 2014 medeoprichter van een bedrijf voor AI in de fysieke wereld [6] en heb ik teams bij TUM, IDSIA en nu KAUST laten werken aan babyrobots [4,10-11,18]. Zulke zachte robots imiteren niet alleen slaafs mensen, en ze werken niet door alleen het web te downloaden zoals LLM's/VLM's. Nee. In plaats daarvan maken ze gebruik van de principes van kunstmatige nieuwsgierigheid om hun neurale wereldmodellen te verbeteren (twee termen die ik in 1990 gebruikte [1-4]). Deze robots werken met veel sensoren, maar alleen met zwakke actuatoren, zodat ze zichzelf niet gemakkelijk schade kunnen toebrengen [18] wanneer ze nuttige gegevens verzamelen door hun eigen zelfbedachte experimenten te bedenken en uit te voeren. Opmerkelijk is dat velen sinds de jaren 1970 de draak hebben gestoken met mijn oude doel om een zelfverbeterende AGI op te bouwen die slimmer is dan ikzelf en vervolgens met pensioen te gaan. De laatste tijd zijn velen dit echter eindelijk serieus gaan nemen, en nu zijn sommigen van hen ineens TE optimistisch. Deze mensen zijn zich vaak niet bewust van de resterende uitdagingen die we moeten oplossen om tot Real AI te komen. Mijn TED-talk uit 2024 [15] vat daar iets van samen. REFERENTIES (gemakkelijk te vinden op het web): [1] J. Schmidhuber. De wereld differentieerbaar maken: Over het gebruik van volledig terugkerende zelfgesuperviseerde neurale netwerken (NN's) voor dynamisch versterkend leren en plannen in niet-stationaire omgevingen. TR FKI-126-90, TUM, februari 1990, herzien november 1990. Dit artikel introduceerde ook kunstmatige nieuwsgierigheid en intrinsieke motivatie door middel van generatieve vijandige netwerken waarbij een generator NN vecht tegen een voorspeller NN in een minimax-spel. [2] J.S. Een mogelijkheid om nieuwsgierigheid en verveling te implementeren in neurale controllers voor het bouwen van modellen. In J. A. Meyer en S. W. Wilson, redacteuren, Proc. van de International Conference on Simulation of Adaptive Behavior: From Animals to Animats, pagina's 222-227. MIT Press/Bradford Books, 1991. Gebaseerd op [1]. [3] JS AI-blog (2020). 1990: Planning & Reinforcement Learning met Recurrent World Models en Artificial Curiosity. Samenvattende aspecten van [1][2] en veel latere artikelen, waaronder [7][8]. [4] J.S. AI Blog (2021): Kunstmatige nieuwsgierigheid en creativiteit sinds 1990. Samenvattende aspecten van [1][2] en veel latere artikelen, waaronder [7][8]. [5] J.S. TU München CogBotLab voor lerende robots (2004-2009) [6] NNAISENSE, opgericht in 2014, voor AI in de fysieke wereld [7] J.S. (2015). Over leren denken: algoritmische informatietheorie voor nieuwe combinaties van reinforcement learning (RL) controllers en terugkerende neurale wereldmodellen. arXiv 1210.0118. Sec. 5.3 beschrijft een RL-promptingenieur die leert om zijn model te bevragen voor abstract redeneren en plannen en besluitvorming. Tegenwoordig wordt dit 'gedachteketen' genoemd. [8] J.S. (2018). Eén groot net voor alles. arXiv 1802.08864. Zie ook patent US11853886B2 en mijn DeepSeek-tweet: DeepSeek gebruikt elementen van de 2015 reinforcement learning prompt engineer [7] en de verfijning ervan uit 2018 [8] die de RL-machine en het wereldmodel van [7] samenvouwt tot één net. Dit maakt gebruik van mijn neurale net destillatieprocedure van 1991: een gedestilleerd gedachtegangssysteem. [9] J.S. Turing oververkocht. Het is echter niet de schuld van Turing. AI Blog (2021, was #1 op Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (Intelligente robots zullen gefascineerd zijn door het leven.) F.A.Z., 2015 [11] J.S. bij Falling Walls: het verleden, het heden en de toekomst van kunstmatige intelligentie. Wetenschappelijke Amerikaan, Observaties, 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (AI is een enorme kans voor Duitsland.) F.A.Z., 2018 [13] H. Jones. J.S. zegt dat zijn levenswerk niet tot dystopie zal leiden. Forbes Tijdschrift, 2023. [14] Interview met J.S. Jazzyear, Shanghai, 2024. [15] J.S. TED talk op TED AI Vienna (2024): Waarom 2042 een belangrijk jaar wordt voor AI. Zie de bijgevoegde videoclip. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (Bouw de AI-gestuurde robot voor alle doeleinden!) F.A.Z., 2024 [17] J.S. 1995-2025: De achteruitgang van Duitsland en Japan versus de VS en China. Kunnen robots voor alle doeleinden een comeback maken? AI Blog, januari 2025, gebaseerd op [16]. [18] M. Alhakami, D. R. Ashley, J. Dunham, Y. Dai, F. Faccio, E. Feron, J. Schmidhuber. Naar een uiterst robuuste babyrobot met rijke interactiemogelijkheden voor geavanceerde machine learning-algoritmen. Voordruk arxiv 2404.08093, 2024.

DeepSeek [1] gebruikt elementen van de 2015 versterkende leerprompt engineer [2] en zijn verfijning uit 2018 [3], die het RL-machine- en wereldmodel van [2] samenvoegt tot een enkel netwerk via de neurale netdistillatieprocedure van 1991 [4]: een gedistilleerd denkproces. REFERENTIES (gemakkelijk te vinden op het web): [1] #DeepSeekR1 (2025): Het stimuleren van redeneercapaciteit in LLM's via versterkend leren. arXiv 2501.12948 [2] J. Schmidhuber (JS, 2015). Over leren denken: Algoritmische informatietheorie voor nieuwe combinaties van versterkende leercontrollers en terugkerende neurale wereldmodellen. arXiv 1210.0118. Sectie 5.3 beschrijft de versterkende leer (RL) prompt engineer die leert om actief en iteratief zijn model te ondervragen voor abstract redeneren en planning en besluitvorming. [3] JS (2018). Eén groot netwerk voor alles. arXiv 1802.08864. Zie ook US11853886B2. Dit artikel voegt de versterkende leerling en het wereldmodel van [2] (bijv. een fundamentmodel) samen tot een enkel netwerk, met gebruik van de neurale netwerkdistillatieprocedure van 1991 [4]. In wezen wat nu een RL "Chain of Thought" systeem wordt genoemd, waar daaropvolgende verbeteringen voortdurend worden gedistilleerd in een enkel netwerk. Zie ook [5]. [4] JS (1991). Leren van complexe, uitgebreide sequenties met behulp van het principe van geschiedeniscompressie. Neural Computation, 4(2):234-242, 1992. Gebaseerd op TR FKI-148-91, TUM, 1991. Eerste werkende diepe leerling gebaseerd op een diepe terugkerende neurale net hiërarchie (met verschillende zelforganiserende tijdschalen), die het verdwijnende gradientprobleem overwint door ongecontroleerde voortraining (de P in CHatGPT) en voorspellende codering. Ook: het comprimeren of distilleren van een lerarenet (de chunker) in een studentennet (de automatizer) dat zijn oude vaardigheden niet vergeet - dergelijke benaderingen worden nu veel gebruikt. Zie ook [6]. [5] JS (AI Blog, 2020). 30-jarig jubileum van planning & versterkend leren met terugkerende wereldmodellen en kunstmatige nieuwsgierigheid (1990, introductie van hoogdimensionale beloningssignalen en het GAN-principe). Bevat samenvattingen van [2][3] hierboven. [6] JS (AI Blog, 2021). 30-jarig jubileum: Eerste zeer diepe leren met ongecontroleerde voortraining (1991) [4]. Ongecontroleerde hiërarchische voorspellende codering vindt compacte interne representaties van sequentiële gegevens om downstream leren te vergemakkelijken. De hiërarchie kan [4] worden gedistilleerd tot een enkel diep neuraal netwerk. 1993: problemen oplossen van diepte >1000.

De #NobelPrize in Natuurkunde 2024 voor Hopfield & Hinton blijkt een Nobelprijs voor plagiaat te zijn. Ze publiceerden methodologieën die in de jaren 1960 en 1970 door Ivakhnenko en Amari in #Ukraine en #Japan waren ontwikkeld, evenals andere technieken, zonder de oorspronkelijke uitvinders te noemen. Geen van de belangrijke algoritmen voor moderne AI is gemaakt door Hopfield en Hinton. Vandaag breng ik een gedetailleerd technisch rapport uit over dit [NOB]: Natuurlijk heb ik het laten controleren door pioniers op het gebied van neurale netwerken en AI-experts om er zeker van te zijn dat het onaantastbaar was. Is het nu acceptabel voor mij om jonge Ph.D. studenten om oude papers te lezen en ze te herschrijven en opnieuw in te dienen alsof het hun eigen werk is? Wat de bedoeling ook is, deze prijs zegt dat, ja, dat prima is. Sommige mensen hebben hun titel of baan verloren als gevolg van plagiaat, bijvoorbeeld de voormalige president van Harvard [PLAG7]. Maar hoe kunnen adviseurs na deze Nobelprijs nu tegen hun studenten blijven zeggen dat ze plagiaat ten koste van alles moeten vermijden? Het is algemeen bekend dat plagiaat zowel "onbedoeld" als "opzettelijk of roekeloos" kan zijn [PLAG1-6], en de meest onschuldige van de twee kan hier heel goed gedeeltelijk het geval zijn. Maar de wetenschap heeft een gevestigde manier om om te gaan met "meervoudige ontdekkingen" en plagiaat - of het nu onbedoeld is [PLAG1-6] [CONN21] of niet [FAKE,FAKE2] - gebaseerd op feiten zoals tijdstempels van publicaties en patenten. De deontologie van de wetenschap vereist dat onbedoelde plagiaat hun publicaties corrigeert door middel van errata en vervolgens in de toekomst de originele bronnen correct vermeldt. De winnaars deden dat niet; in plaats daarvan bleven de laureaten citaten verzamelen voor uitvindingen van andere onderzoekers [NOB] [DLP]. Verandert dit gedrag zelfs onbedoeld plagiaat [PLAG1-6] niet in een opzettelijke vorm [FAKE2]? Ik maak me echt zorgen over de boodschap die dit afgeeft aan al deze jonge studenten die er zijn. VERWIJZINGEN [NOB] J. Schmidhuber (2024). Een Nobelprijs voor plagiaat. Technisch rapport IDSIA-24-24. [NOB+] Tweet: de #NobelPrize in Physics 2024 voor Hopfield & Hinton beloont plagiaat en onjuiste attributie in de informatica. Het gaat vooral over Amari's "Hopfield-netwerk" en de "Boltzmann Machine". (1/7e zo populair als de oorspronkelijke aankondiging van de Nobelstichting) [DLP] J. Schmidhuber (2023). Hoe 3 Turing-winnaars de belangrijkste methoden en ideeën opnieuw publiceerden waarvan ze de makers niet konden crediteren. Technisch rapport IDSIA-23-23, Zwitsers AI-lab IDSIA, 14 december 2023. [DLP+] Tweet voor [DLP]: [PLAG1] Oxford's gids voor soorten plagiaat (2021). Citaat: "Plagiaat kan opzettelijk of roekeloos zijn, of onopzettelijk." [PLAG2] Jackson Staat Gemeenschapscollege (2022). Onbedoeld plagiaat. [PLAG3] R. L. Bevorderen. Onbedoeld plagiaat vermijden. Tijdschrift voor specialisten in kinderverpleegkunde; Hoboken Vol. 12, Iss. 1, 2007. [PLAG4] N. Das. Opzettelijk of onopzettelijk, het is nooit goed om plagiaat te plegen: een opmerking over hoe Indiase universiteiten worden geadviseerd om met plagiaat om te gaan. Perspect Clin Res 9:56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). Wat is onbedoeld plagiaat? [PLAG6] (2022). Hoe onbedoeld en onbedoeld plagiaat te voorkomen (2023). Kopie in het internetarchief. Citaat: "Of het nu per ongeluk of opzettelijk is, plagiaat is nog steeds plagiaat." [PLAG7] Cornell Beoordeling, 2024. Harvard-president treedt af in plagiaatschandaal. 6 januari 2024. [NEP] H. Hopf, A. Krief, G. Mehta, S. A. Matlin. Fake science en de kenniscrisis: onwetendheid kan fataal zijn. Royal Society Open Science, mei 2019. Citaat: "Wetenschappers moeten bereid zijn zich uit te spreken wanneer ze zien dat valse informatie wordt gepresenteerd in sociale media, traditionele gedrukte of uitgezonden pers" en "moeten zich uitspreken tegen valse informatie en nepwetenschap die in omloop is en publieke figuren die het promoten krachtig tegenspreken." [NEP2] L. Stenflo. Intelligente plagiaat is het gevaarlijkst. Natuur, vol. 427, p. 777 (februari 2004). Citaat: "Wat naar mijn mening erger is, ..., zijn gevallen waarin wetenschappers eerdere bevindingen in andere woorden herschrijven, opzettelijk de bronnen van hun ideeën verbergen, en vervolgens in de daaropvolgende jaren krachtig beweren dat ze nieuwe fenomenen hebben ontdekt."