AI Fisik 10 tahun yang lalu: robot bayi menemukan eksperimennya sendiri untuk meningkatkan model dunia sarafnya Kompella, Stollenga, Luciw, Schmidhuber. Akuisisi keterampilan yang didorong oleh rasa ingin tahu yang berkelanjutan dari input video dimensi tinggi untuk robot humanoid. Kecerdasan Buatan, 2015

1 dekade yang lalu: Insinyur Prompt Pembelajaran Penguatan di Bagian 5.3 dari «Belajar Berpikir ...» [2]. Rantai Pemikiran Adaptif! Jaring RL belajar menanyakan jaring lain untuk penalaran abstrak & pengambilan keputusan. Melampaui Model Dunia 1990 untuk perencanaan milidetik demi milidetik [1]. [2] J. Schmidhuber (JS, 2015). «Tentang Belajar Berpikir: Teori Informasi Algoritmik untuk Kombinasi Baru Pengontrol RL dan Model Dunia Saraf Berulang.» ArXiv 1210.0118 [1] JS (1990). "Membuat dunia dapat dibedakan: Tentang menggunakan jaringan saraf yang diawasi sendiri sepenuhnya berulang untuk pembelajaran dan perencanaan penguatan dinamis di lingkungan non-stasioner." TR FKI-126-90, TUM. (Laporan ini juga memperkenalkan keingintahuan buatan dan motivasi intrinsik melalui jaringan permusuhan generatif.)

10 tahun yang lalu, pada Mei 2015, kami menerbitkan jaringan saraf feedforward berbasis gradien (FNN) pertama yang bekerja sangat dalam dengan ratusan lapisan (FNN sebelumnya memiliki maksimum beberapa lusin lapisan). Untuk mengatasi masalah gradien yang menghilang, Jaringan Jalan Raya kami menggunakan koneksi sisa yang pertama kali diperkenalkan pada tahun 1991 oleh @HochreiterSepp untuk mencapai aliran kesalahan konstan dalam NN berulang (RNN), yang dijaga melalui gerbang perkalian yang mirip dengan gerbang lupa (Gers et al., 1999) dari LSTM RNN kami yang sangat dalam. Highway NN dimungkinkan melalui karya mantan mahasiswa PhD saya @rupspace dan Klaus Greff. Mengatur gerbang Highway NN ke 1.0 secara efektif memberi kita ResNet yang diterbitkan 7 bulan kemudian. Pembelajaran mendalam adalah tentang kedalaman NN. LSTM pada dasarnya membawa kedalaman tak terbatas ke NN berulang; Highway Nets membawanya ke feedforward NN.

Wawancara publik saya untuk "Aprendemos Juntos" (Madrid, Agustus 2024) telah ada di YouTube selama 7 bulan. Wawancara publik saya untuk "Aprendemos Juntos" (Madrid, Agustus 2024) telah ada di YouTube selama 7 bulan.

1991: Distilasi jaringan saraf pertama [1-3]. Saya menyebutnya "runtuh", saat itu, bukan "penyulingan." Referensi [1] J. Schmidhuber (1991). Chunkers urutan saraf. Laporan Teknologi FKI-148-91, Tech Univ. Munich. Bagian 3.2.2. Bagian 4 adalah tentang "runtuh" atau "penyulingan" atau "mengompres" pengetahuan tentang jaringan saraf ke jaringan saraf lain. [2] JS (1992). Mempelajari urutan yang kompleks dan diperpanjang menggunakan prinsip kompresi sejarah. Komputasi Saraf, 4(2):234-242, 1992. Berdasarkan [1]. [3] JS (Blog AI, 2021, diperbarui 2025). 1991: Pembelajaran pertama yang sangat mendalam dengan pra-pelatihan tanpa pengawasan. Distilasi jaringan saraf pertama.

Semua orang berbicara tentang perbaikan diri rekursif & Mesin Gödel sekarang & bagaimana ini akan mengarah pada AGI. Sungguh perubahan dari 15 tahun yang lalu! Kami mengadakan AGI'2010 di Lugano dan memimpin AGI'2011 di Google. Tulang punggung konferensi AGI adalah AI Universal yang optimal secara matematis: Mesin Gödel 2003 (AIXI dan @mhutter42 - lihat buku UAI 2005-nya dan pembaruan 2024 baru-baru ini (Saya bangga bahwa karya AIXI Marcus Hutter didanai oleh hibah SNF Swiss 2000 saya ketika dia menjadi postdoc di IDSIA.

AGI? Suatu hari, tapi belum. Satu-satunya AI yang bekerja dengan baik saat ini adalah yang berada di belakang layar [12-17]. Tetapi lulus Tes Turing [9] di belakang layar mudah dibandingkan dengan AI Nyata untuk robot sungguhan di dunia nyata. Tidak ada robot yang digerakkan oleh AI saat ini yang dapat disertifikasi sebagai tukang ledeng [13-17]. Oleh karena itu, Tes Turing bukanlah ukuran kecerdasan yang baik (dan IQ juga tidak). Dan AGI tanpa penguasaan dunia fisik bukanlah AGI. Itu sebabnya saya menciptakan TUM CogBotLab untuk robot pembelajaran pada tahun 2004 [5], ikut mendirikan perusahaan untuk AI di dunia fisik pada tahun 2014 [6], dan memiliki tim di TUM, IDSIA, dan sekarang KAUST bekerja untuk robot bayi [4,10-11,18]. Robot lunak seperti itu tidak hanya meniru manusia dan mereka tidak bekerja hanya dengan mengunduh web seperti LLM/VLM. Tidak. Sebaliknya, mereka mengeksploitasi prinsip-prinsip Keingintahuan Buatan untuk meningkatkan Model Dunia saraf mereka (dua istilah yang saya gunakan pada tahun 1990 [1-4]). Robot-robot ini bekerja dengan banyak sensor, tetapi hanya aktuator yang lemah, sehingga mereka tidak dapat dengan mudah membahayakan diri mereka sendiri [18] ketika mereka mengumpulkan data yang berguna dengan merancang dan menjalankan eksperimen yang mereka ciptakan sendiri. Hebatnya, sejak tahun 1970-an, banyak yang mengolok-olok tujuan lama saya untuk membangun AGI yang meningkatkan diri lebih pintar dari saya dan kemudian pensiun. Namun, baru-baru ini, banyak yang akhirnya mulai menanggapi hal ini dengan serius, dan sekarang beberapa dari mereka tiba-tiba TERLALU optimis. Orang-orang ini seringkali tidak menyadari tantangan yang tersisa yang harus kita selesaikan untuk mencapai AI Nyata. Pembicaraan TED 2024 saya [15] merangkum beberapa dari itu. REFERENSI (mudah ditemukan di web): [1] J. Schmidhuber. Membuat dunia dapat dibedakan: Tentang menggunakan jaringan saraf (NN) yang diawasi mandiri sepenuhnya berulang untuk pembelajaran dan perencanaan penguatan dinamis di lingkungan non-stasioner. TR FKI-126-90, TUM, Februari 1990, direvisi November 1990. Makalah ini juga memperkenalkan keingintahuan buatan dan motivasi intrinsik melalui jaringan musuh generatif di mana NN generator melawan NN prediktor dalam game minimax. [2] J. S. Kemungkinan untuk menerapkan rasa ingin tahu dan kebosanan dalam pengontrol saraf pembuatan model. Dalam J. A. Meyer dan S. W. Wilson, editor, Proc. dari Konferensi Internasional tentang Simulasi Perilaku Adaptif: Dari Hewan ke Animat, halaman 222-227. MIT Press/Bradford Books, 1991. Berdasarkan [1]. [3] Blog JS AI (2020). 1990: Perencanaan & Pembelajaran Penguatan dengan Model Dunia Berulang dan Keingintahuan Buatan. Merangkum aspek [1][2] dan banyak makalah selanjutnya termasuk [7][8]. [4] Blog JS AI (2021): Keingintahuan & Kreativitas Buatan Sejak 1990. Merangkum aspek [1][2] dan banyak makalah selanjutnya termasuk [7][8]. [5] J.S. TU Munich CogBotLab untuk robot pembelajaran (2004-2009) [6] NNAISENSE, didirikan pada tahun 2014, untuk AI di dunia fisik [7] JS (2015). Tentang Belajar Berpikir: Teori Informasi Algoritmik untuk Kombinasi Baru Pengontrol Pembelajaran Penguatan (RL) dan Model Dunia Saraf Berulang. arXiv 1210.0118. Bagian 5.3 menggambarkan insinyur prompt RL yang belajar menanyakan modelnya untuk penalaran abstrak dan perencanaan dan pengambilan keputusan. Hari ini ini disebut "rantai pemikiran." [8] JS (2018). Satu Jaring Besar Untuk Segalanya. arXiv 1802.08864. Lihat juga US11853886B2 paten dan tweet DeepSeek saya: DeepSeek menggunakan elemen insinyur prompt pembelajaran penguatan 2015 [7] dan penyempurnaannya pada tahun 2018 [8] yang meruntuhkan mesin RL dan model dunia [7] menjadi satu jaring. Ini menggunakan prosedur distilasi jaring saraf saya tahun 1991: rantai sistem berpikir yang disuling. [9] J.S. Turing Oversold. Namun, itu bukan salah Turing. AI Blog (2021, adalah #1 di Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (Robot cerdas akan terpesona oleh kehidupan.) F.A.Z., 2015 [11] JS di Dinding Jatuh: Masa Lalu, Sekarang, dan Masa Depan Kecerdasan Buatan. Ilmiah Amerika, Pengamatan, 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (AI adalah peluang besar bagi Jerman.) AZ, 2018 [13] H. Jones. J.S. Mengatakan Pekerjaan Hidupnya Tidak Akan Mengarah Pada Distopia. Majalah Forbes, 2023. [14] Wawancara dengan J.S. Jazzyear, Shanghai, 2024. [15] Pembicaraan JS TED di TED AI Wina (2024): Mengapa 2042 akan menjadi tahun yang besar bagi AI. Lihat klip video terlampir. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (Bangun robot serbaguna yang dikendalikan AI!) FAZ, 2024 [17] J.S. 1995-2025: Penurunan Jerman & Jepang vs AS & Cina. Bisakah Robot Serbaguna Memicu Comeback? AI Blog, Januari 2025, berdasarkan [16]. [18] M. Alhakami, D. R. Ashley, J. Dunham, Y. Dai, F. Faccio, E. Feron, J. Schmidhuber. Menuju robot bayi yang sangat kuat dengan kemampuan interaksi yang kaya untuk algoritme pembelajaran mesin tingkat lanjut. Pracetak arxiv 2404.08093, 2024.

DeepSeek [1] menggunakan elemen insinyur prompt pembelajaran penguatan 2015 [2] dan penyempurnaannya pada tahun 2018 [3] yang meruntuhkan mesin RL dan model dunia [2] menjadi satu jaring melalui prosedur distilasi jaring saraf tahun 1991 [4]: rantai sistem pemikiran yang disuling. REFERENSI (mudah ditemukan di web): [1] #DeepSeekR1 (2025): Memberi Insentif Kemampuan Penalaran dalam LLM melalui Pembelajaran Penguatan. arXiv 2501.12948 [2] J. Schmidhuber (JS, 2015). Tentang Belajar Berpikir: Teori Informasi Algoritmik untuk Kombinasi Baru Pengontrol Pembelajaran Penguatan dan Model Dunia Saraf Berulang. arXiv 1210.0118. Bagian 5.3 menggambarkan insinyur prompt pembelajaran penguatan (RL) yang belajar untuk secara aktif dan berulang menanyakan modelnya untuk penalaran abstrak dan perencanaan dan pengambilan keputusan. [3] JS (2018). Satu Jaring Besar Untuk Segalanya. arXiv 1802.08864. Lihat juga US11853886B2. Makalah ini meruntuhkan pembelajar penguatan dan model dunia [2] (misalnya, model fondasi) menjadi satu jaringan, menggunakan prosedur distilasi jaringan saraf tahun 1991 [4]. Pada dasarnya apa yang sekarang disebut sistem "Rantai Pemikiran" RL, di mana peningkatan selanjutnya terus disuling ke dalam satu jaring. Lihat juga [5]. [4] JS (1991). Mempelajari urutan yang kompleks dan diperpanjang menggunakan prinsip kompresi sejarah. Komputasi Saraf, 4(2):234-242, 1992. Berdasarkan TR FKI-148-91, TUM, 1991. Pertama belajar mendalam yang bekerja berdasarkan hierarki jaring saraf berulang yang mendalam (dengan skala waktu pengorganisasian diri yang berbeda), mengatasi masalah gradien yang menghilang melalui pra-pelatihan tanpa pengawasan (P di CHatGPT) dan pengkodean prediktif. Juga: mengompresi atau menyaring jaring guru (chunker) ke dalam jaring siswa (otomatis) yang tidak melupakan keterampilan lamanya - pendekatan semacam itu sekarang banyak digunakan. Lihat juga [6]. [5] JS (Blog AI, 2020). Peringatan 30 tahun perencanaan & pembelajaran penguatan dengan model dunia berulang dan keingintahuan buatan (1990, memperkenalkan sinyal penghargaan dimensi tinggi dan prinsip GAN). Berisi ringkasan [2][3] di atas. [6] JS (Blog AI, 2021). Ulang tahun ke-30: Pembelajaran pertama yang sangat mendalam dengan pra-pelatihan tanpa pengawasan (1991) [4]. Pengkodean prediktif hierarkis tanpa pengawasan menemukan representasi internal data berurutan yang ringkas untuk memfasilitasi pembelajaran hilir. Hierarki dapat disuling [4] menjadi satu jaringan saraf dalam. 1993: memecahkan masalah kedalaman >1000.

#NobelPrize dalam Fisika 2024 untuk Hopfield & Hinton ternyata menjadi Hadiah Nobel untuk plagiarisme. Mereka menerbitkan ulang metodologi yang dikembangkan pada tahun #Ukraine dan #Japan oleh Ivakhnenko dan Amari pada tahun 1960-an dan 1970-an, serta teknik lainnya, tanpa mengutip penemu aslinya. Tidak ada algoritme penting untuk AI modern yang dibuat oleh Hopfield & Hinton. Hari ini saya merilis laporan teknis terperinci tentang [NOB] ini: Tentu saja, saya memeriksanya oleh pelopor jaringan saraf dan pakar AI untuk memastikannya tidak dapat diganggu gugat. Apakah sekarang dapat diterima bagi saya untuk mengarahkan mahasiswa Ph.D. muda untuk membaca makalah lama dan menulis ulang dan mengirimkannya kembali seolah-olah itu adalah karya mereka sendiri? Apa pun niatnya, penghargaan ini mengatakan bahwa, ya, itu baik-baik saja. Beberapa orang telah kehilangan gelar atau pekerjaan mereka karena plagiarisme, misalnya, mantan presiden Harvard [PLAG7]. Tetapi setelah Hadiah Nobel ini, bagaimana penasihat sekarang dapat terus memberi tahu siswa mereka bahwa mereka harus menghindari plagiarisme dengan cara apa pun? Sudah diketahui bahwa plagiarisme dapat berupa "tidak disengaja" atau "disengaja atau sembrono" [PLAG1-6], dan yang lebih polos dari keduanya mungkin sebagian terjadi di sini. Tetapi sains memiliki cara yang mapan untuk menangani "penemuan ganda" dan plagiarisme - baik itu tidak disengaja [PLAG1-6][CONN21] atau tidak [FAKE,FAKE2] - berdasarkan fakta seperti stempel waktu publikasi dan paten. Deontologi sains mengharuskan plagiator yang tidak disengaja mengoreksi publikasi mereka melalui errata dan kemudian mengkreditkan sumber asli dengan benar di masa depan. Para penerima penghargaan tidak; sebaliknya, para penerima penghargaan terus mengumpulkan kutipan untuk penemuan peneliti lain [NOB][DLP]. Bukankah perilaku ini mengubah plagiarisme yang tidak disengaja [PLAG1-6] menjadi bentuk yang disengaja [FAKE2]? Saya sangat prihatin dengan pesan yang dikirimkan ini kepada semua siswa muda di luar sana. REFERENSI [NOB] J. Schmidhuber (2024). Hadiah Nobel untuk Plagiarisme. Laporan Teknis IDSIA-24-24. [NOB+] Tweet: #NobelPrize dalam Fisika 2024 untuk Hopfield & Hinton menghargai plagiarisme dan atribusi yang salah dalam ilmu komputer. Ini sebagian besar tentang "jaringan Hopfield" Amari dan "Mesin Boltzmann." (1/7 lebih populer dari pengumuman asli oleh Yayasan Nobel) [DLP] J. Schmidhuber (2023). Bagaimana 3 penerima penghargaan Turing menerbitkan ulang metode dan ide utama yang penciptanya gagal mereka kreditkan. Laporan Teknis IDSIA-23-23, Swiss AI Lab IDSIA, 14 Des 2023. [DLP+] Tweet untuk [DLP]: [PLAG1] Panduan Oxford untuk jenis plagiarisme (2021). Kutipan: "Plagiarisme mungkin disengaja atau sembrono, atau tidak disengaja." [PLAG2] Perguruan Tinggi Komunitas Negeri Jackson (2022). Plagiarisme yang tidak disengaja. [PLAG3] R. L. Foster. Menghindari Plagiarisme yang Tidak Disengaja. Jurnal untuk Spesialis Keperawatan Anak; Hoboken Vol. 12, Iss. 1, 2007. [PLAG4] N. Das. Disengaja atau tidak disengaja, tidak pernah boleh untuk menjiplak: Catatan tentang bagaimana universitas India disarankan untuk menangani plagiarisme. Perspektif Clin Res 9: 56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). Apa itu Plagiarisme yang Tidak Disengaja? [PLAG6] (2022). Cara Menghindari Plagiarisme yang Tidak Disengaja dan Tidak Disengaja (2023). Salin di Internet Archive. Kutipan: "Mungkin tidak disengaja atau disengaja, plagiarisme tetaplah plagiarisme." [PLAG7] Ulasan Cornell, 2024. Presiden Harvard mengundurkan diri karena skandal plagiarisme. 6 Januari 2024. [PALSU] H. Hopf, A. Krief, G. Mehta, S. A. Matlin. Sains palsu dan krisis pengetahuan: ketidaktahuan bisa berakibat fatal. Sains Terbuka Royal Society, Mei 2019. Kutipan: "Para ilmuwan harus bersedia berbicara ketika mereka melihat informasi palsu disajikan di media sosial, cetak tradisional atau pers siaran" dan "harus berbicara menentang informasi palsu dan sains palsu yang beredar dan dengan tegas bertentangan dengan tokoh publik yang mempromosikannya." [PALSU2] L. Stenflo. Plagiator cerdas adalah yang paling berbahaya. Alam, vol. 427, hlm. 777 (Februari 2004). Kutipan: "Apa yang lebih buruk, menurut pendapat saya, ..., adalah kasus-kasus di mana para ilmuwan menulis ulang temuan sebelumnya dengan kata-kata yang berbeda, dengan sengaja menyembunyikan sumber ide-ide mereka, dan kemudian selama tahun-tahun berikutnya dengan tegas mengklaim bahwa mereka telah menemukan fenomena baru."