IA física há 10 anos: bebê robô inventa seus próprios experimentos para melhorar seu modelo de mundo neural Kompella, Stollenga, Luciw, Schmidhuber. Aquisição contínua de habilidades impulsionadas pela curiosidade a partir de entradas de vídeo de alta dimensão para robôs humanóides. Inteligência Artificial, 2015

1 década atrás: Engenheiro de Prompt de Aprendizado por Reforço na Seção 5.3 de «Aprendendo a Pensar ...» [2]. Cadeia Adaptativa de Pensamento! Uma rede RL aprende a consultar outra rede para raciocínio abstrato e tomada de decisão. Indo além do Modelo Mundial de 1990 para planejamento de milissegundos por milissegundos [1]. [2] J. Schmidhuber (JS, 2015). «Sobre Aprender a Pensar: Teoria da Informação Algorítmica para Novas Combinações de Controladores RL e Modelos de Mundo Neural Recorrentes.» ArXiv 1210.0118 [1] JS (1990). "Tornando o mundo diferenciável: sobre o uso de redes neurais auto-supervisionadas totalmente recorrentes para aprendizado e planejamento de reforço dinâmico em ambientes não estacionários.» TR FKI-126-90, TUM. (Este relatório também introduziu curiosidade artificial e motivação intrínseca por meio de redes adversárias generativas.)

Há 10 anos, em maio de 2015, publicamos as primeiras redes neurais feedforward (FNNs) baseadas em gradiente muito profundo com centenas de camadas (as FNNs anteriores tinham no máximo algumas dezenas de camadas). Para superar o problema do gradiente de fuga, nossas Redes de Rodovias usaram as conexões residuais introduzidas pela primeira vez em 1991 por @HochreiterSepp para obter um fluxo de erro constante em NNs recorrentes (RNNs), bloqueados por portas multiplicativas semelhantes às portas esquecidas (Gers et al., 1999) de nosso RNN LSTM muito profundo. As NNs de rodovias foram possíveis graças ao trabalho de meus ex-alunos de doutorado @rupspace e Klaus Greff. Definir os portões da Highway NN para 1.0 efetivamente nos dá o ResNet publicado 7 meses depois. O aprendizado profundo tem tudo a ver com a profundidade da NN. Os LSTMs trouxeram profundidade essencialmente ilimitada para NNs recorrentes; A Highway Nets o trouxe para as NNs feedforward.

Minha entrevista pública para "Aprendemos Juntos" (Madri, agosto de 2024) está no YouTube há 7 meses. Minha entrevista pública para "Aprendemos Juntos" (Madri, agosto de 2024) está no YouTube há 7 meses.

1991: primeira destilação de rede neural [1-3]. Eu chamei isso de "colapso", naquela época, não de "destilação". Referências [1] J. Schmidhuber (1991). Chunkers de sequência neural. Relatório Técnico FKI-148-91, Tech Univ. Munique. Seção 3.2.2. A Seção 4 trata de "colapsar" ou "destilar" ou "comprimir" o conhecimento de uma rede neural em outra rede neural. [2] JS (1992). Aprendendo sequências complexas e estendidas usando o princípio da compressão da história. Computação Neural, 4(2):234-242, 1992. Com base em [1]. [3] JS (AI Blog, 2021, atualizado em 2025). 1991: Primeiro aprendizado muito profundo com pré-treinamento não supervisionado. Primeira destilação de rede neural.

Todo mundo fala sobre auto-aperfeiçoamento recursivo e Máquinas de Gödel agora e como isso levará à AGI. Que mudança em relação a 15 anos atrás! Tivemos o AGI'2010 em Lugano e presidimos o AGI'2011 no Google. A espinha dorsal das conferências da AGI foi a IA Universal matematicamente ótima: a Máquina Gödel de 2003 (e o AIXI de @mhutter42 - veja seu livro UAI de 2005 e sua recente atualização de 2024 (Estou orgulhoso de que o trabalho AIXI de Marcus Hutter tenha sido financiado por minha bolsa SNF suíça de 2000 quando ele era um pós-doutorado na IDSIA.

AGI? Um dia, mas ainda não. A única IA que funciona bem agora é a que está atrás da tela [12-17]. Mas passar no Teste de Turing [9] atrás de uma tela é fácil em comparação com a IA real para robôs reais no mundo real. Nenhum robô atual acionado por IA poderia ser certificado como encanador [13-17]. Portanto, o Teste de Turing não é uma boa medida de inteligência (e nem o QI). E AGI sem domínio do mundo físico não é AGI. É por isso que criei o TUM CogBotLab para robôs de aprendizagem em 2004 [5], cofundei uma empresa de IA no mundo físico em 2014 [6] e tive equipes na TUM, IDSIA e agora KAUST trabalhando em robôs bebês [4,10-11,18]. Esses robôs macios não apenas imitam os humanos servilmente e não funcionam apenas baixando a web como LLMs / VLMs. Não. Em vez disso, eles exploram os princípios da Curiosidade Artificial para melhorar seus Modelos de Mundo neurais (dois termos que usei em 1990 [1-4]). Esses robôs trabalham com muitos sensores, mas apenas atuadores fracos, de modo que não podem se machucar facilmente [18] quando coletam dados úteis ao criar e executar seus próprios experimentos auto-inventados. Notavelmente, desde a década de 1970, muitos zombaram do meu antigo objetivo de construir uma AGI auto-aperfeiçoada mais inteligente do que eu e depois me aposentar. Recentemente, no entanto, muitos finalmente começaram a levar isso a sério, e agora alguns deles estão repentinamente otimistas demais. Essas pessoas muitas vezes desconhecem os desafios restantes que temos que resolver para alcançar a IA real. Minha palestra no TED de 2024 [15] resume um pouco disso. REFERÊNCIAS (fáceis de encontrar na web): [1] J. Schmidhuber. Tornando o mundo diferenciável: Sobre o uso de redes neurais auto-supervisionadas (NNs) totalmente recorrentes para aprendizado e planejamento de reforço dinâmico em ambientes não estacionários. TR FKI-126-90, TUM, fevereiro de 1990, revisado em novembro de 1990. Este artigo também introduziu a curiosidade artificial e a motivação intrínseca por meio de redes adversárias generativas, onde um NN gerador está lutando contra um NN preditor em um jogo minimax. [2] J. S. Uma possibilidade de implementar curiosidade e tédio em controladores neurais de construção de modelos. Em J. A. Meyer e S. W. Wilson, editores, Proc. da Conferência Internacional sobre Simulação de Comportamento Adaptativo: De Animais a Animados, páginas 222-227. MIT Press / Bradford Books, 1991. Com base em [1]. [3] Blog JS AI (2020). 1990: Planejamento e Aprendizagem por Reforço com Modelos de Mundo Recorrentes e Curiosidade Artificial. Resumindo aspectos de [1][2] e muitos artigos posteriores, incluindo [7][8]. [4] J.S. AI Blog (2021): Curiosidade e criatividade artificiais desde 1990. Resumindo aspectos de [1][2] e muitos artigos posteriores, incluindo [7][8]. [5] J.S. TU Munich CogBotLab para robôs de aprendizagem (2004-2009) [6] NNAISENSE, fundada em 2014, para IA no mundo físico [7] J.S. (2015). Sobre Aprender a Pensar: Teoria da Informação Algorítmica para Novas Combinações de Controladores de Aprendizado por Reforço (RL) e Modelos de Mundo Neural Recorrente. arXiv 1210.0118. A Seção 5.3 descreve um engenheiro de prompt de RL que aprende a consultar seu modelo para raciocínio abstrato, planejamento e tomada de decisão. Hoje isso é chamado de "cadeia de pensamento". [8] J.S. (2018). Uma grande rede para tudo. arXiv 1802.08864. Veja também US11853886B2 de patentes e meu tweet do DeepSeek: O DeepSeek usa elementos do engenheiro de prompt de aprendizado por reforço de 2015 [7] e seu refinamento de 2018 [8] que colapsa a máquina RL e o modelo de mundo de [7] em uma única rede. Isso usa meu procedimento de destilação de rede neural de 1991: um sistema de cadeia de pensamento destilado. [9] J.S. Turing sobrevendido. Não é culpa de Turing, no entanto. AI Blog (2021, foi #1 no Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (Robôs inteligentes ficarão fascinados com a vida.) F.A.Z., 2015 [11] J.S. em Falling Walls: O Passado, Presente e Futuro da Inteligência Artificial. Scientific American, Observações, 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (A IA é uma grande chance para a Alemanha.) F.A.Z., 2018 [13] H. Jones. J.S. diz que o trabalho de sua vida não levará à distopia. Revista Forbes, 2023. [14] Entrevista com J.S. Jazzyear, Xangai, 2024. [15] J.S. TED talk no TED AI Vienna (2024): Por que 2042 será um grande ano para a IA. Veja o videoclipe em anexo. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (Construa o robô multiuso controlado por IA!) F.A.Z., 2024 [17] J.S. 1995-2025: O Declínio da Alemanha e Japão vs EUA e China. Os robôs multifuncionais podem alimentar um retorno? AI Blog, janeiro de 2025, baseado em [16]. [18] M. Alhakami, D. R. Ashley, J. Dunham, Y. Dai, F. Faccio, E. Feron, J. Schmidhuber. Rumo a um robô bebê extremamente robusto com rica capacidade de interação para algoritmos avançados de aprendizado de máquina. Pré-impressão arxiv 2404.08093, 2024.

O DeepSeek [1] usa elementos do engenheiro de prompt de aprendizado por reforço de 2015 [2] e seu refinamento de 2018 [3] que colapsa a máquina RL e o modelo de mundo de [2] em uma única rede por meio do procedimento de destilação de rede neural de 1991 [4]: uma cadeia destilada de sistema de pensamento. REFERÊNCIAS (fáceis de encontrar na web): [1] #DeepSeekR1 (2025): Incentivando a capacidade de raciocínio em LLMs por meio de aprendizado por reforço. arXiv 2501.12948 [2] J. Schmidhuber (JS, 2015). Sobre Aprender a Pensar: Teoria da Informação Algorítmica para Novas Combinações de Controladores de Aprendizado por Reforço e Modelos de Mundo Neural Recorrente. arXiv 1210.0118. A Seção 5.3 descreve o engenheiro de prompt de aprendizado por reforço (RL) que aprende a consultar ativa e iterativamente seu modelo para raciocínio abstrato, planejamento e tomada de decisão. [3] JS (2018). Uma grande rede para tudo. arXiv 1802.08864. Veja também US11853886B2. Este artigo colapsa o aprendiz de reforço e o modelo de mundo de [2] (por exemplo, um modelo de fundação) em uma única rede, usando o procedimento de destilação de rede neural de 1991 [4]. Essencialmente, o que agora é chamado de sistema RL "Chain of Thought", onde as melhorias subsequentes são continuamente destiladas em uma única rede. Veja também [5]. [4] JS (1991). Aprendendo sequências complexas e estendidas usando o princípio da compressão da história. Computação Neural, 4(2):234-242, 1992. Baseado em TR FKI-148-91, TUM, 1991. Primeiro trabalhando com base em uma hierarquia de rede neural recorrente profunda (com diferentes escalas de tempo auto-organizadas), superando o problema do gradiente de fuga por meio de pré-treinamento não supervisionado (o P em CHatGPT) e codificação preditiva. Além disso: comprimir ou destilar uma rede de professores (o chunker) em uma rede de alunos (o automatizador) que não esquece suas antigas habilidades - essas abordagens agora são amplamente utilizadas. Veja também [6]. [5] JS (AI Blog, 2020). Aniversário de 30 anos de planejamento e aprendizado por reforço com modelos de mundo recorrentes e curiosidade artificial (1990, introduzindo sinais de recompensa de alta dimensão e o princípio GAN). Contém resumos de [2][3] acima. [6] JS (AI Blog, 2021). Aniversário de 30 anos: Primeiro aprendizado muito profundo com pré-treinamento não supervisionado (1991) [4]. A codificação preditiva hierárquica não supervisionada encontra representações internas compactas de dados sequenciais para facilitar o aprendizado downstream. A hierarquia pode ser destilada [4] em uma única rede neural profunda. 1993: resolução de problemas de profundidade >1000.

O #NobelPrize em Física 2024 para Hopfield & Hinton acaba sendo um Prêmio Nobel de plágio. Eles republicaram metodologias desenvolvidas em #Ukraine e #Japan por Ivakhnenko e Amari nas décadas de 1960 e 1970, bem como outras técnicas, sem citar os inventores originais. Nenhum dos algoritmos importantes para a IA moderna foi criado por Hopfield & Hinton. Hoje estou lançando um relatório técnico detalhado sobre este [NOB]: Claro, eu o verifiquei por pioneiros de redes neurais e especialistas em IA para ter certeza de que era inatacável. Agora é aceitável para mim direcionar jovens Ph.D. estudantes para ler artigos antigos e reescrevê-los e reenviá-los como se fossem seus próprios trabalhos? Seja qual for a intenção, este prêmio diz que, sim, isso é perfeitamente normal. Algumas pessoas perderam seus títulos ou empregos devido ao plágio, por exemplo, o ex-presidente de Harvard [PLAG7]. Mas depois deste Prêmio Nobel, como os orientadores podem continuar a dizer a seus alunos que eles devem evitar o plágio a todo custo? É bem sabido que o plágio pode ser "não intencional" ou "intencional ou imprudente" [PLAG1-6], e o mais inocente dos dois pode muito bem ser parcialmente o caso aqui. Mas a ciência tem uma maneira bem estabelecida de lidar com "descobertas múltiplas" e plágio - seja não intencional [PLAG1-6] [CONN21] ou não [FAKE, FAKE2] - com base em fatos como carimbos de data e hora de publicações e patentes. A deontologia da ciência exige que plagiadores não intencionais corrijam suas publicações por meio de erratas e, em seguida, creditem as fontes originais adequadamente no futuro. Os premiados não; em vez disso, os premiados continuaram coletando citações de invenções de outros pesquisadores [NOB][DLP]. Esse comportamento não transforma até mesmo o plágio não intencional [PLAG1-6] em uma forma intencional [FAKE2]? Estou realmente preocupado com a mensagem que isso envia a todos esses jovens estudantes por aí. REFERÊNCIAS [NOB] J. Schmidhuber (2024). Um Prêmio Nobel de Plágio. Relatório Técnico IDSIA-24-24. [NOB+] Tweet: o #NobelPrize em Física 2024 para Hopfield & Hinton recompensa o plágio e a atribuição incorreta em ciência da computação. É principalmente sobre a "rede Hopfield" de Amari e a "Máquina Boltzmann". (1/7 tão popular quanto o anúncio original da Fundação Nobel) [DLP] J. Schmidhuber (2023). Como 3 premiados com Turing republicaram métodos e ideias importantes cujos criadores eles não deram crédito. Relatório Técnico IDSIA-23-23, Swiss AI Lab IDSIA, 14 de dezembro de 2023. [DLP+] Tweet para [DLP]: [PLAG1] Guia de Oxford para tipos de plágio (2021). Citação: "O plágio pode ser intencional ou imprudente, ou não intencional." [PLAG2] Faculdade Comunitária Estadual de Jackson (2022). Plágio não intencional. [PLAG3] R. L. Foster. Evitando plágio não intencional. Revista para Especialistas em Enfermagem Pediátrica; Hoboken Vol. 12, Iss. 1, 2007. [PLAG4] N. Das. Intencional ou não, nunca é certo plagiar: Uma nota sobre como as universidades indianas são aconselhadas a lidar com o plágio. Perspectiva Clin Res 9: 56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). O que é plágio não intencional? [PLAG6] (2022). Como evitar plágio acidental e não intencional (2023). Cópia no Internet Archive. Citação: "Que seja acidental ou intencional, o plágio ainda é plágio." [PLAG7] Revisão de Cornell, 2024. Presidente de Harvard renuncia em escândalo de plágio. 6 de janeiro de 2024. [FALSO] H. Hopf, A. Krief, G. Mehta, S. A. Matlin. A ciência falsa e a crise do conhecimento: a ignorância pode ser fatal. Royal Society Open Science, maio de 2019. Citação: "Os cientistas devem estar dispostos a falar quando virem informações falsas sendo apresentadas nas mídias sociais, na imprensa impressa tradicional ou na imprensa" e "devem se manifestar contra informações falsas e ciência falsa em circulação e contradizer vigorosamente as figuras públicas que as promovem". [FAKE2] L. Stenflo. Os plagiadores inteligentes são os mais perigosos. Natureza, vol. 427, p. 777 (fevereiro de 2004). Citação: "O que é pior, na minha opinião, ..., são os casos em que os cientistas reescrevem descobertas anteriores em palavras diferentes, escondendo propositalmente as fontes de suas idéias e, durante os anos subsequentes, afirmam com força que descobriram novos fenômenos."