AI fisica 10 anni fa: un robot bambino inventa i propri esperimenti per migliorare il proprio modello neurale del mondo Kompella, Stollenga, Luciw, Schmidhuber. Acquisizione continua di abilità guidata dalla curiosità da input video ad alta dimensione per robot umanoidi. Intelligenza Artificiale, 2015

1 decennio fa: Ingegnere di Prompt per l'Apprendimento per Rinforzo nella Sezione 5.3 di «Learning to Think …» [2]. Catena di Pensiero Adattiva! Una rete RL impara a interrogare un'altra rete per il ragionamento astratto e la presa di decisioni. Andando oltre il Modello del Mondo del 1990 per la pianificazione millisecondo per millisecondo [1].  [2] J. Schmidhuber (JS, 2015). «On Learning to Think: Algorithmic Information Theory for Novel Combinations of RL Controllers and Recurrent Neural World Models.» ArXiv 1210.0118  [1] JS (1990). “Rendere il mondo differenziabile: sull'uso di reti neurali ricorrenti completamente auto-supervisionate per l'apprendimento per rinforzo dinamico e la pianificazione in ambienti non stazionari.» TR FKI-126-90, TUM. (Questo rapporto ha anche introdotto la curiosità artificiale e la motivazione intrinseca attraverso reti generative avversarie.)

10 anni fa, a maggio 2015, abbiamo pubblicato i primi reti neurali feedforward (FNN) molto profonde basate su gradienti, con centinaia di strati (i precedenti FNN avevano un massimo di alcune dozzine di strati). Per superare il problema del gradiente che svanisce, le nostre Highway Networks utilizzavano le connessioni residue introdotte per la prima volta nel 1991 da @HochreiterSepp per ottenere un flusso di errore costante nelle reti neurali ricorrenti (RNN), controllato attraverso porte moltiplicative simili alle porte di dimenticanza (Gers et al., 1999) del nostro LSTM RNN molto profondo. Le Highway NNs sono state rese possibili grazie al lavoro dei miei ex studenti di dottorato @rupspace e Klaus Greff. Impostare le porte della Highway NN a 1.0 ci dà effettivamente il ResNet pubblicato 7 mesi dopo. L'apprendimento profondo riguarda tutto la profondità delle reti neurali. Gli LSTM hanno portato una profondità essenzialmente illimitata alle RNN; le Highway Nets l'hanno portata alle FNN.

La mia intervista pubblica per "Aprendemos Juntos" (Madrid, agosto 2024) è su YouTube da 7 mesi. La mia intervista pubblica per "Aprendemos Juntos" (Madrid, agosto 2024) è su YouTube da 7 mesi.

1991: prima distillazione di reti neurali [1-3]. All'epoca la chiamai "collapsing," non "distilling." Riferimenti [1] J. Schmidhuber (1991). Chunker di sequenze neurali. Rapporto tecnico FKI-148-91, Università tecnica di Monaco. Sez. 3.2.2. & Sez. 4 trattano di "collapsing" o "distilling" o "compressing" la conoscenza di una rete neurale in un'altra rete neurale. [2] JS (1992). Apprendimento di sequenze complesse e prolungate utilizzando il principio della compressione della storia. Neural Computation, 4(2):234-242, 1992. Basato su [1]. [3] JS (AI Blog, 2021, aggiornato 2025). 1991: Primo apprendimento molto profondo con pre-addestramento non supervisionato. Prima distillazione di reti neurali.

Tutti parlano di auto-miglioramento ricorsivo e di macchine di Gödel ora e di come questo porterà all'AGI. Che cambiamento rispetto a 15 anni fa! Abbiamo avuto l'AGI'2010 a Lugano e abbiamo presieduto l'AGI'2011 a Google. La spina dorsale delle conferenze AGI era l'IA universale matematicamente ottimale: la Macchina di Gödel del 2003 ( e l'AIXI di @mhutter42 - vedi il suo libro UAI del 2005 e il suo recente aggiornamento del 2024 ( Sono orgoglioso che il lavoro AIXI di Marcus Hutter sia stato finanziato dalla mia borsa di studio SNF svizzera del 2000 quando era un postdoc all'IDSIA.

AGI? Un giorno, ma non ancora. L'unica IA che funziona bene in questo momento è quella dietro lo schermo [12-17]. Ma superare il test di Turing [9] dietro uno schermo è facile rispetto all'IA reale per i robot reali nel mondo reale. Nessun robot attualmente guidato dall'intelligenza artificiale potrebbe essere certificato come idraulico [13-17]. Quindi, il test di Turing non è una buona misura dell'intelligenza (e nemmeno il QI). E l'AGI senza la padronanza del mondo fisico non è un'AGI. Ecco perché ho creato il TUM CogBotLab per l'apprendimento dei robot nel 2004 [5], ho co-fondato un'azienda per l'intelligenza artificiale nel mondo fisico nel 2014 [6] e ho avuto team di TUM, IDSIA e ora KAUST che lavorano per i baby robot [4,10-11,18]. Questi robot morbidi non si limitano a imitare pedissequamente gli esseri umani e non funzionano semplicemente scaricando il web come gli LLM/VLM. No. Invece, sfruttano i principi della Curiosità Artificiale per migliorare i loro Modelli di Mondo Neurale (due termini che ho usato nel 1990 [1-4]). Questi robot lavorano con molti sensori, ma solo con attuatori deboli, in modo tale che non possano facilmente farsi del male [18] quando raccolgono dati utili ideando ed eseguendo i propri esperimenti auto-inventati. Sorprendentemente, dagli anni '70, molti hanno preso in giro il mio vecchio obiettivo di costruire un'AGI auto-migliorante più intelligente di me e poi andare in pensione. Di recente, tuttavia, molti hanno finalmente iniziato a prendere sul serio la questione, e ora alcuni di loro sono improvvisamente TROPPO ottimisti. Queste persone sono spesso beatamente inconsapevoli delle sfide rimanenti che dobbiamo risolvere per ottenere una vera IA. Il mio TED talk del 2024 [15] riassume parte di questo. REFERENZE (facili da trovare sul web): [1] J. Schmidhuber. Rendere il mondo differenziabile: sull'utilizzo di reti neurali auto-supervisionate (NN) completamente ricorrenti per l'apprendimento dinamico per rinforzo e la pianificazione in ambienti non stazionari. TR FKI-126-90, TUM, febbraio 1990, rivisto nel novembre 1990. Questo articolo ha anche introdotto la curiosità artificiale e la motivazione intrinseca attraverso reti generative avversarie in cui un generatore NN sta combattendo un predittore NN in un gioco minimax. [2] J. S. Una possibilità per implementare la curiosità e la noia nei controller neurali per la costruzione di modelli. In J. A. Meyer e S. W. Wilson, a cura di, Proc. della Conferenza internazionale sulla simulazione del comportamento adattivo: dagli animali agli animati, pagine 222-227. MIT Press/Bradford Books, 1991. Sulla base di [1]. [3] Blog di J.S. AI (2020). 1990: Pianificazione e apprendimento per rinforzo con modelli di mondo ricorrenti e curiosità artificiale. Riassumendo aspetti di [1][2] e molti articoli successivi, tra cui [7][8]. [4] J.S. AI Blog (2021): Curiosità e creatività artificiali dal 1990. Riassumendo aspetti di [1][2] e molti articoli successivi, tra cui [7][8]. [5] J.S. TU Munich CogBotLab per l'apprendimento dei robot (2004-2009) [6] NNAISENSE, fondata nel 2014, per l'IA nel mondo fisico [7] J.S. (2015). Sull'apprendimento del pensiero: teoria dell'informazione algoritmica per nuove combinazioni di controller di apprendimento per rinforzo (RL) e modelli di mondi neurali ricorrenti. arXiv 1210.0118. La Sez. 5.3 descrive un ingegnere di prompt RL che impara a interrogare il suo modello per il ragionamento astratto, la pianificazione e il processo decisionale. Oggi questa è chiamata "catena di pensiero". [8] J.S. (2018). Una grande rete per tutto. arXiv 1802.08864. Vedi anche il US11853886B2 dei brevetti e il mio tweet DeepSeek: DeepSeek utilizza elementi dell'ingegnere dei prompt di apprendimento per rinforzo del 2015 [7] e del suo perfezionamento del 2018 [8] che collassa la macchina RL e il modello del mondo di [7] in un'unica rete. Questo utilizza la mia procedura di distillazione della rete neurale del 1991: un sistema di catena di pensiero distillato. [9] J.S. Turing ha ipervenduto. Non è colpa di Turing, però. AI Blog (2021, è stato #1 su Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (I robot intelligenti saranno affascinati dalla vita.) F.A.Z., 2015 [11] J.S. a Falling Walls: il passato, il presente e il futuro dell'intelligenza artificiale. Scientific American, Osservazioni, 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (L'intelligenza artificiale è un'enorme opportunità per la Germania.) F.A.Z., 2018 [13] H. Jones. J.S. dice che il lavoro della sua vita non porterà alla distopia. Rivista Forbes, 2023. [14] Intervista con J.S. Jazzyear, Shanghai, 2024. [15] J.S. TED talk a TED AI Vienna (2024): Perché il 2042 sarà un grande anno per l'IA. Guarda il video clip allegato. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (Costruisci il robot multiuso controllato dall'intelligenza artificiale!) F.A.Z., 2024 [17] J.S. 1995-2025: Il declino di Germania e Giappone contro Stati Uniti e Cina. I robot multiuso possono alimentare un ritorno? AI Blog, gennaio 2025, basato su [16]. [18] M. Alhakami, D. R. Ashley, J. Dunham, Y. Dai, F. Faccio, E. Feron, J. Schmidhuber. Verso un robot estremamente robusto con una ricca capacità di interazione per algoritmi avanzati di apprendimento automatico. Prestampa arxiv 2404.08093, 2024.

DeepSeek [1] utilizza elementi dell'ingegneria dei prompt di apprendimento per rinforzo del 2015 [2] e il suo affinamento del 2018 [3], che collassa il modello di apprendimento per rinforzo e il modello del mondo di [2] in una rete unica attraverso la procedura di distillazione della rete neurale del 1991 [4]: un sistema di catena di pensiero distillato. RIFERIMENTI (facili da trovare sul web): [1] #DeepSeekR1 (2025): Incentivare la capacità di ragionamento nei LLM tramite l'apprendimento per rinforzo. arXiv 2501.12948 [2] J. Schmidhuber (JS, 2015). Sull'apprendimento a pensare: Teoria dell'informazione algoritmica per nuove combinazioni di controllori di apprendimento per rinforzo e modelli di mondo neurali ricorrenti. arXiv 1210.0118. La Sez. 5.3 descrive l'ingegneria dei prompt di apprendimento per rinforzo (RL) che impara a interrogare attivamente e iterativamente il suo modello per il ragionamento astratto, la pianificazione e la presa di decisioni. [3] JS (2018). Una grande rete per tutto. arXiv 1802.08864. Vedi anche US11853886B2. Questo documento collassa l'apprenditore per rinforzo e il modello del mondo di [2] (ad es., un modello di base) in un'unica rete, utilizzando la procedura di distillazione della rete neurale del 1991 [4]. Essenzialmente quello che ora è chiamato un sistema di "Catena di Pensiero" RL, dove i miglioramenti successivi vengono continuamente distillati in una rete unica. Vedi anche [5]. [4] JS (1991). Apprendere sequenze complesse e prolungate utilizzando il principio della compressione della storia. Neural Computation, 4(2):234-242, 1992. Basato su TR FKI-148-91, TUM, 1991. Primo apprenditore profondo funzionante basato su una gerarchia di reti neurali ricorrenti profonde (con diverse scale temporali auto-organizzanti), superando il problema del gradiente che svanisce attraverso il pre-addestramento non supervisionato (il P in CHatGPT) e il coding predittivo. Inoltre: comprimere o distillare una rete insegnante (il chunker) in una rete studente (l'automatizer) che non dimentica le sue vecchie abilità - tali approcci sono ora ampiamente utilizzati. Vedi anche [6]. [5] JS (AI Blog, 2020). 30° anniversario della pianificazione e dell'apprendimento per rinforzo con modelli di mondo ricorrenti e curiosità artificiale (1990, introduzione di segnali di ricompensa ad alta dimensione e principio GAN). Contiene riassunti di [2][3] sopra. [6] JS (AI Blog, 2021). 30° anniversario: Primo apprendimento molto profondo con pre-addestramento non supervisionato (1991) [4]. Il coding predittivo gerarchico non supervisionato trova rappresentazioni interne compatte di dati sequenziali per facilitare l'apprendimento a valle. La gerarchia può essere distillata [4] in una singola rete neurale profonda. 1993: risolvere problemi di profondità >1000.

Il #NobelPrize in Fisica 2024 per Hopfield & Hinton risulta essere un premio Nobel per il plagio. Hanno ripubblicato le metodologie sviluppate nel #Ukraine e nel #Japan da Ivakhnenko e Amari negli anni '60 e '70, così come altre tecniche, senza citare gli inventori originali. Nessuno degli algoritmi importanti per l'intelligenza artificiale moderna è stato creato da Hopfield e Hinton. Oggi sto pubblicando un rapporto tecnico dettagliato su questo [NOB]: Naturalmente, l'ho fatto controllare dai pionieri delle reti neurali e dagli esperti di intelligenza artificiale per assicurarmi che fosse inattaccabile. È ora accettabile per me indirizzare i giovani studenti di dottorato a leggere vecchi articoli e riscriverli e ripresentarli come se fossero i loro lavori? Qualunque sia l'intenzione, questo premio dice che, sì, va benissimo. Alcune persone hanno perso i loro titoli o lavori a causa del plagio, ad esempio l'ex presidente di Harvard [PLAG7]. Ma dopo questo premio Nobel, come possono i consulenti continuare a dire ai loro studenti che dovrebbero evitare il plagio a tutti i costi? È ben noto che il plagio può essere "non intenzionale" o "intenzionale o sconsiderato" [PLAG1-6], e il più innocente dei due potrebbe benissimo essere parzialmente il caso qui. Ma la scienza ha un modo ben consolidato di affrontare le "scoperte multiple" e il plagio - sia esso non intenzionale [PLAG1-6][CONN21] o non [FAKE,FAKE2] - basato su fatti come i timestamp delle pubblicazioni e i brevetti. La deontologia della scienza richiede che i plagiatori non intenzionali correggano le loro pubblicazioni attraverso errata corrige e poi accreditino correttamente le fonti originali in futuro. I premiati no; invece i premiati hanno continuato a raccogliere citazioni per invenzioni di altri ricercatori [NOB][DLP]. Questo comportamento non trasforma anche il plagio non intenzionale [PLAG1-6] in una forma intenzionale [FAKE2]? Sono davvero preoccupato per il messaggio che questo invia a tutti questi giovani studenti là fuori. REFERENZE [NOB] J. Schmidhuber (2024). Un premio Nobel per il plagio. Rapporto tecnico IDSIA-24-24. [NOB+] Tweet: il #NobelPrize in Fisica 2024 per Hopfield & Hinton premia il plagio e l'errata attribuzione in informatica. Si tratta principalmente della "rete Hopfield" di Amari e della "macchina di Boltzmann". (1/7 più popolare dell'annuncio originale della Fondazione Nobel) [DLP] J. Schmidhuber (2023). Come 3 vincitori del premio Turing hanno ripubblicato metodi e idee chiave ai cui creatori non sono riusciti a dare credito. Rapporto tecnico IDSIA-23-23, Swiss AI Lab IDSIA, 14 dicembre 2023. [DLP+] Tweet per [DLP]: [PLAG1] Guida di Oxford ai tipi di plagio (2021). Citazione: "Il plagio può essere intenzionale o sconsiderato o non intenzionale". [PLAG2] Collegio comunitario statale di Jackson (2022). Plagio non intenzionale. [PLAG3] R. L. Foster. Evitare il plagio involontario. Giornale per specialisti in infermieristica pediatrica; Hoboken Vol. 12, Iss. 1, 2007. [PLAG4] N. Das. Intenzionale o non intenzionale, non va mai bene plagiare: una nota su come si consiglia alle università indiane di gestire il plagio. Prospettiva Clin Res 9:56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). Che cos'è il plagio non intenzionale? [PLAG6] (2022). Come evitare il plagio accidentale e non intenzionale (2023). Copia nell'Internet Archive. Citazione: "Che sia accidentale o intenzionale, il plagio è ancora plagio". [PLAG7] Recensione Cornell, 2024. Il presidente di Harvard si dimette per uno scandalo di plagio. 6 gennaio 2024. [FALSO] H. Hopf, A. Krief, G. Mehta, S. A. Matlin. La falsa scienza e la crisi della conoscenza: l'ignoranza può essere fatale. Royal Society Open Science, maggio 2019. Citazione: "Gli scienziati devono essere disposti a parlare quando vedono che vengono presentate informazioni false sui social media, sulla stampa tradizionale o sulla stampa televisiva" e "devono parlare contro le false informazioni e le false scienze in circolazione e contraddire con forza le figure pubbliche che le promuovono". [FAKE2] L. Stenflo. I plagi intelligenti sono i più pericolosi. Natura, vol. 427, p. 777 (febbraio 2004). Citazione: "Ciò che è peggio, a mio parere, ..., sono i casi in cui gli scienziati riscrivono le scoperte precedenti con parole diverse, nascondendo di proposito le fonti delle loro idee, e poi negli anni successivi affermano con forza di aver scoperto nuovi fenomeni".