Fizyczna AI 10 lat temu: mały robot wymyśla własne eksperymenty, aby poprawić swój model świata neuronowego. Kompella, Stollenga, Luciw, Schmidhuber. Ciągłe nabywanie umiejętności napędzane ciekawością z wysokowymiarowych wejść wideo dla humanoidalnych robotów. Sztuczna inteligencja, 2015

1 dekada temu: Inżynier Prompt w Uczeniu Wzmocnionym w Rozdziale 5.3 „Uczenie się myśleć …” [2]. Adaptacyjny łańcuch myślenia! Sieć RL uczy się zapytywać inną sieć o abstrakcyjne rozumowanie i podejmowanie decyzji. Wykraczając poza Model Świata z lat 90. XX wieku do planowania na poziomie milisekund [1].  [2] J. Schmidhuber (JS, 2015). „O uczeniu się myśleć: Algorytmiczna teoria informacji dla nowych kombinacji kontrolerów RL i rekurencyjnych modeli świata neuronowego.” ArXiv 1210.0118  [1] JS (1990). „Uczynienie świata różniczkowalnym: O wykorzystaniu w pełni rekurencyjnych, samonadzorowanych sieci neuronowych do dynamicznego uczenia wzmocnionego i planowania w niestacjonarnych środowiskach.” TR FKI-126-90, TUM. (Ten raport wprowadził również sztuczną ciekawość i wewnętrzną motywację poprzez generatywne sieci przeciwników.)

10 lat temu, w maju 2015 roku, opublikowaliśmy pierwsze działające bardzo głębokie sieci neuronowe typu feedforward (FNN) z setkami warstw (wcześniejsze FNN miały maksymalnie kilka tuzinów warstw). Aby przezwyciężyć problem znikającego gradientu, nasze sieci Highway używały połączeń resztkowych, które po raz pierwszy wprowadzono w 1991 roku przez @HochreiterSepp, aby osiągnąć stały przepływ błędu w rekurencyjnych sieciach neuronowych (RNN), kontrolowanych przez bramki mnożnikowe podobne do bramek zapominania (Gers i in., 1999) w naszej bardzo głębokiej LSTM RNN. Sieci Highway stały się możliwe dzięki pracy moich byłych doktorantów @rupspace i Klausa Greffa. Ustawienie bramek sieci Highway na 1.0 skutecznie daje nam ResNet opublikowany 7 miesięcy później. Głębokie uczenie polega na głębokości sieci neuronowych. LSTM wprowadziły zasadniczo nieograniczoną głębokość do rekurencyjnych sieci neuronowych; sieci Highway wprowadziły ją do sieci feedforward.

Mój publiczny wywiad dla "Aprendemos Juntos" (Madryt, sierpień 2024) jest dostępny na YouTube od 7 miesięcy. Mój publiczny wywiad dla "Aprendemos Juntos" (Madryt, sierpień 2024) jest dostępny na YouTube od 7 miesięcy.

1991: pierwsza destylacja sieci neuronowej [1-3]. Wtedy nazwałem to "zapadaniem się", a nie "destylowaniem". Referencje [1] J. Schmidhuber (1991). Chunkery sekwencji neuronowych. Raport techniczny FKI-148-91, Uniwersytet Techniczny w Monachium. Sekcje 3.2.2. i 4 dotyczą "zapadania się" lub "destylowania" lub "kompresowania" wiedzy sieci neuronowej do innej sieci neuronowej. [2] JS (1992). Uczenie się złożonych, rozszerzonych sekwencji przy użyciu zasady kompresji historii. Neural Computation, 4(2):234-242, 1992. Na podstawie [1]. [3] JS (Blog AI, 2021, zaktualizowane 2025). 1991: Pierwsze bardzo głębokie uczenie się z niesuperwizyjnym wstępnym uczeniem.

Wszyscy mówią o rekurencyjnym samodoskonaleniu i maszynach Gödla teraz i o tym, jak to doprowadzi do AGI. Cóż za zmiana w porównaniu z sytuacją sprzed 15 lat! Mieliśmy AGI'2010 w Lugano i przewodniczyliśmy AGI'2011 w Google. Podstawą konferencji AGI była matematycznie optymalna uniwersalna sztuczna inteligencja: maszyna Gödla z 2003 r. (i AIXI @mhutter42 - zobacz jego książkę UAI z 2005 r. i jej ostatnią aktualizację z 2024 r. (Jestem dumny, że praca Marcusa Huttera nad AIXI została sfinansowana z mojego szwajcarskiego grantu SNF w 2000 r., kiedy był postdocem w IDSIA.

AGI? Pewnego dnia, ale jeszcze nie teraz. Jedyną sztuczną inteligencją, która działa teraz dobrze, jest ta za ekranem [12-17]. Ale przejście testu Turinga [9] za ekranem jest łatwe w porównaniu z prawdziwą sztuczną inteligencją dla prawdziwych robotów w prawdziwym świecie. Żaden obecny robot sterowany sztuczną inteligencją nie może uzyskać certyfikatu hydraulika [13-17]. W związku z tym test Turinga nie jest dobrą miarą inteligencji (podobnie jak IQ). A AGI bez opanowania świata fizycznego nie jest AGI. Dlatego w 2004 r. stworzyłem TUM CogBotLab do nauki robotów [5], w 2014 r. współtworzyłem firmę zajmującą się sztuczną inteligencją w świecie fizycznym [6], a zespoły w TUM, IDSIA, a teraz KAUST pracowały nad robotami dla dzieci [4,10-11,18]. Takie miękkie roboty nie tylko niewolniczo naśladują ludzi i nie działają po prostu pobierając z sieci, jak LLM / VLM. Nie. Zamiast tego wykorzystują zasady sztucznej ciekawości do ulepszania swoich neuronowych modeli świata (dwa terminy, których użyłem w 1990 roku [1-4]). Roboty te działają z wieloma czujnikami, ale tylko ze słabymi siłownikami, tak że nie mogą łatwo zaszkodzić sobie [18], gdy zbierają użyteczne dane, opracowując i przeprowadzając własne, wymyślone przez siebie eksperymenty. Co ciekawe, od lat siedemdziesiątych XX wieku wielu naśmiewało się z mojego starego celu, jakim było zbudowanie samodoskonalącego się AGI mądrzejszego ode mnie, a następnie przejście na emeryturę. Ostatnio jednak wielu w końcu zaczęło traktować to poważnie, a teraz niektórzy z nich nagle stają się ZBYT optymistyczni. Ci ludzie są często w błogiej nieświadomości pozostałych wyzwań, które musimy rozwiązać, aby osiągnąć prawdziwą sztuczną inteligencję. Mój wykład TED z 2024 roku [15] podsumowuje niektóre z nich. REFERENCJE (łatwe do znalezienia w sieci): [1] J. Schmidhuber. Różnicowanie świata: O wykorzystaniu w pełni rekurencyjnych, samonadzorowanych sieci neuronowych (NN) do dynamicznego uczenia się i planowania przez wzmacnianie w środowiskach niestacjonarnych. TR FKI-126-90, TUM, luty 1990, poprawione listopad 1990. W artykule tym przedstawiono również sztuczną ciekawość i wewnętrzną motywację poprzez generatywne sieci przeciwstawne, w których generator NN walczy z predyktorem NN w grze minimax. [2] J. S. Możliwość implementacji ciekawości i nudy w modelowych kontrolerach neuronowych. W: J. A. Meyer i S. W. Wilson, redaktorzy, Proc. of the International Conference on Simulation of Adaptive Behavior: From Animals to Animats, strony 222-227. MIT Press/Bradford Books, 1991. Na podstawie [1]. [3] Blog J.S. AI (2020). 1990: Planowanie i uczenie się ze wzmocnieniem za pomocą rekurencyjnych modeli świata i sztucznej ciekawości. Podsumowanie aspektów [1][2] i wielu późniejszych prac, w tym [7][8]. [4] J.S. AI Blog (2021): Sztuczna ciekawość i kreatywność od 1990 roku. Podsumowanie aspektów [1][2] i wielu późniejszych prac, w tym [7][8]. [5] J.S. TU, Munich CogBotLab dla uczących się robotów (2004-2009) [6] NNAISENSE, założony w 2014 r., dla sztucznej inteligencji w świecie fizycznym [7] J.S. (2015). O uczeniu się myślenia: algorytmiczna teoria informacji dla nowatorskich kombinacji kontrolerów uczenia się przez wzmacnianie (RL) i rekurencyjnych modeli świata neuronowego. arXiv 1210.0118. Sekcja 5.3 opisuje inżyniera podpowiedzi RL, który uczy się wysyłać zapytania do swojego modelu w celu abstrakcyjnego rozumowania, planowania i podejmowania decyzji. Dzisiaj nazywa się to "łańcuchem myśli". [8] J.S. (2018). Jedna wielka sieć na wszystko. arXiv 1802.08864. Zobacz także US11853886B2 patentowy i mój tweet DeepSeek: DeepSeek wykorzystuje elementy inżyniera podpowiedzi uczenia się przez wzmacnianie z 2015 r. [7] i jego udoskonalenia z 2018 r. [8], które zwijają maszynę RL i model świata [7] w jedną sieć. Wykorzystuje to moją procedurę destylacji sieci neuronowych z 1991 roku: wydestylowany system łańcucha myślowego. [9] J.S. Turing wyprzedany. Nie jest to jednak wina Turinga. AI Blog (2021, był #1 w Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (Inteligentne roboty będą zafascynowane życiem.) F.A.Z., 2015 [11] J.S. w Falling Walls: The Past, Present and Future of Artificial Intelligence. Scientific American, Obserwacje, 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (Sztuczna inteligencja to ogromna szansa dla Niemiec.) F.A.Z., 2018 [13] H. Jones. J.S. mówi, że dzieło jego życia nie doprowadzi do dystopii. Magazyn Forbes, 2023. [14] Wywiad z J.S. Jazzyear, Szanghaj, 2024. [15] J.S. TED talk na TED AI Vienna (2024): Dlaczego rok 2042 będzie wielkim rokiem dla sztucznej inteligencji. Zobacz załączony klip wideo. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (Zbuduj uniwersalnego robota sterowanego przez sztuczną inteligencję!) F.A.Z., 2024 [17] J.S. 1995-2025: Upadek Niemiec i Japonii kontra USA i Chiny. Czy roboty uniwersalne mogą napędzać powrót? Blog AI, styczeń 2025 r., na podstawie [16]. [18] M. Alhakami, D. R. Ashley, J. Dunham, Y. Dai, F. Faccio, E. Feron, J. Schmidhuber. W kierunku niezwykle wytrzymałego robota dziecięcego z bogatymi możliwościami interakcji dla zaawansowanych algorytmów uczenia maszynowego. Preprint arxiv 2404.08093, 2024.

DeepSeek [1] wykorzystuje elementy inżynierii podpowiedzi wzmocnienia z 2015 roku [2] oraz jej udoskonalenie z 2018 roku [3], które łączy model RL i model świata z [2] w jedną sieć poprzez procedurę destylacji sieci neuronowej z 1991 roku [4]: destylowany system łańcucha myślenia. REFERENCJE (łatwe do znalezienia w sieci): [1] #DeepSeekR1 (2025): Zachęcanie do zdolności rozumowania w LLM za pomocą uczenia przez wzmocnienie. arXiv 2501.12948 [2] J. Schmidhuber (JS, 2015). O uczeniu się myśleć: Algorytmiczna teoria informacji dla nowych kombinacji kontrolerów uczenia przez wzmocnienie i rekurencyjnych modeli świata neuronowego. arXiv 1210.0118. Sekcja 5.3 opisuje inżynierię podpowiedzi RL, która uczy się aktywnie i iteracyjnie pytać swój model o abstrakcyjne rozumowanie oraz planowanie i podejmowanie decyzji. [3] JS (2018). Jedna wielka sieć dla wszystkiego. arXiv 1802.08864. Zobacz także US11853886B2. Ten artykuł łączy ucznia wzmocnienia i model świata z [2] (np. model podstawowy) w jedną sieć, wykorzystując procedurę destylacji sieci neuronowej z 1991 roku [4]. W zasadzie to, co teraz nazywa się systemem RL "Łańcucha Myślenia", w którym kolejne ulepszenia są nieustannie destylowane w jedną sieć. Zobacz także [5]. [4] JS (1991). Uczenie się złożonych, rozszerzonych sekwencji przy użyciu zasady kompresji historii. Neural Computation, 4(2):234-242, 1992. Na podstawie TR FKI-148-91, TUM, 1991. Pierwszy działający głęboki uczący się oparty na hierarchii głębokiej sieci neuronowej (z różnymi samorganizującymi się skalami czasowymi), pokonujący problem znikającego gradientu poprzez niesuperwizyjne wstępne uczenie (P w CHatGPT) i kodowanie predykcyjne. Również: kompresowanie lub destylowanie sieci nauczyciela (chunker) w sieć ucznia (automatizer), która nie zapomina swoich starych umiejętności - takie podejścia są obecnie szeroko stosowane. Zobacz także [6]. [5] JS (Blog AI, 2020). 30-lecie planowania i uczenia przez wzmocnienie z rekurencyjnymi modelami świata i sztuczną ciekawością (1990, wprowadzając sygnały nagrody o wysokiej wymiarowości i zasadę GAN). Zawiera podsumowania [2][3] powyżej. [6] JS (Blog AI, 2021). 30-lecie: Pierwsze bardzo głębokie uczenie się z niesuperwizyjnym wstępnym uczeniem (1991) [4]. Niesuperwizyjne hierarchiczne kodowanie predykcyjne znajduje kompaktowe wewnętrzne reprezentacje danych sekwencyjnych, aby ułatwić uczenie się w dół. Hierarchię można destylować [4] w jedną głęboką sieć neuronową. 1993: rozwiązywanie problemów głębokości >1000.

#NobelPrize z fizyki 2024 dla Hopfielda i Hintona okazuje się być Nagrodą Nobla za plagiat. Opublikowali oni ponownie metodologie opracowane w #Ukraine i #Japan przez Iwaknienkę i Amariego w latach 60. i 70., a także inne techniki, nie cytując oryginalnych wynalazców. Żaden z ważnych algorytmów dla współczesnej sztucznej inteligencji nie został stworzony przez Hopfielda i Hintona. Dzisiaj publikuję szczegółowy raport techniczny na ten temat [NOB]: Oczywiście zleciłem to sprawdzeniu przez pionierów sieci neuronowych i ekspertów od sztucznej inteligencji, aby upewnić się, że jest niepodważalne. Czy mogę teraz nakazywać młodym doktorantom, aby czytali stare prace, przepisywali je i składali ponownie, jakby były ich własnymi pracami? Bez względu na intencje, ta nagroda mówi, że tak, to jest całkowicie w porządku. Niektórzy ludzie stracili swoje tytuły lub pracę z powodu plagiatu, np. były rektor Harvardu [PLAG7]. Ale jak po tej Nagrodzie Nobla doradcy mogą teraz nadal mówić swoim studentom, że powinni unikać plagiatu za wszelką cenę? Powszechnie wiadomo, że plagiat może być albo "niezamierzony", albo "zamierzony lub lekkomyślny" [PLAG1-6], a bardziej niewinny z tych dwóch może być tutaj częściowo taki. Ale nauka ma dobrze ugruntowany sposób radzenia sobie z "wielokrotnymi odkryciami" i plagiatami - czy to niezamierzonymi [PLAG1-6][CONN21], czy nie [FAKE,FAKE2] - opartymi na faktach takich jak znaczniki czasu publikacji i patentów. Deontologia nauki wymaga, aby niezamierzeni plagiatorzy poprawiali swoje publikacje za pomocą errat, a następnie w przyszłości prawidłowo uznawali oryginalne źródła. Laureaci tego nie zrobili; zamiast tego laureaci zbierali cytowania wynalazków innych badaczy [NOB][DLP]. Czy takie zachowanie nie zamienia nawet niezamierzonego plagiatu [PLAG1-6] w celową formę [FAKE2]? Jestem naprawdę zaniepokojony przesłaniem, jakie wysyła to do tych wszystkich młodych studentów. ODWOŁANIA [NOB] J. Schmidhuber (2024). Nagroda Nobla za plagiat. Raport techniczny IDSIA-24-24. [NOB+] Tweet: #NobelPrize w fizyce 2024 dla Hopfield & Hinton nagradza plagiat i nieprawidłową atrybucję w informatyce. Chodzi głównie o "sieć Hopfielda" Amariego i "maszynę Boltzmanna". (1/7 popularności w stosunku do pierwotnego komunikatu Fundacji Nobla) [DLP] J. Schmidhuber (2023). Jak 3 laureaci nagrody Turinga ponownie opublikowali kluczowe metody i idee, których twórców nie uznali za wiarygodnych. Raport techniczny IDSIA-23-23, Swiss AI Lab IDSIA, 14 grudnia 2023 r. [DLP+] Tweet dla [DLP]: [PLAG1] Oksfordzki przewodnik po rodzajach plagiatu (2021). Cytat: "Plagiat może być zamierzony lub lekkomyślny, lub niezamierzony." [PLAG2] Jackson State Community College (2022). Niezamierzony plagiat. [PLAG3] R. L. Foster. Unikanie niezamierzonego plagiatu. Czasopismo dla specjalistów pielęgniarstwa dziecięcego; Hoboken Vol. 12, Iss. 1, 2007. [PLAG4] N. Das. Umyślnie czy nieumyślnie, plagiat nigdy nie jest w porządku: Uwaga na temat tego, jak indyjskim uniwersytetom zaleca się radzenie sobie z plagiatem. Perspektywa Clin Res 9:56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). Co to jest niezamierzony plagiat? [PLAG6] (2022). Jak uniknąć przypadkowego i niezamierzonego plagiatu (2023). Kopia w Internet Archive. Cytat: "Czy to być przypadkowe czy celowe, plagiat to ciągle plagiat." [PLAG7] Przegląd Cornella, 2024. Rektor Harvardu podaje się do dymisji w związku ze skandalem plagiatowym. 6 stycznia 2024 r. [FAŁSZYWE] H. Hopf, A. Krief, G. Mehta, S. A. Matlin. Fałszywa nauka i kryzys wiedzy: ignorancja może być śmiertelna. Otwarta nauka Towarzystwa Królewskiego, maj 2019 r. Cytat: "Naukowcy muszą być gotowi do wypowiadania się kiedy widzą fałszywe informacje prezentowane w mediach społecznościowych, tradycyjnej prasie drukowanej lub radiowej" oraz "muszą wypowiadać się przeciwko fałszywym informacjom i fałszywej nauce w obiegu oraz stanowczo sprzeciwiać się osobom publicznym które je promują." [FAKE2] L. Stenflo. Najbardziej niebezpieczni są inteligentni plagiatorzy. Nature, tom 427, str. 777 (luty 2004). Cytuję: "Co gorsza, moim zdaniem, ..., to przypadki kiedy naukowcy przepisują poprzednie ustalenia innymi słowami, celowo ukrywając źródła swoich idei, poczym przez następne lata z całą mocą twierdzą że odkryli nowe zjawiska."