10年前の物理AI:赤ちゃんロボットがニューラルワールドモデルを改善するために独自の実験を発明 コンペラ、ストレンガ、ルシウ、シュミットフーバー。ヒューマノイドロボットのための高次元ビデオ入力からの継続的な好奇心駆動型スキル習得人工知能、2015年

10年前:「Learning to Think...」のセクション5.3の強化学習プロンプトエンジニア[2].適応的な思考の連鎖!RLネットは、抽象的な推論と意思決定のために別のネットをクエリすることを学習します。1990年のワールドモデルを超えて、ミリ秒単位の計画[1]。 [2] J.シュミットフーバー(JS、2015年)。«考える学習について:RLコントローラーとリカレントニューラルワールドモデルの新しい組み合わせのためのアルゴリズム情報理論。ArXivの1210.0118 [1] JS(1990)。「世界を微分可能にする:非定常環境での動的強化学習と計画のための完全再帰型自己教師ありニューラルネットワークの使用について」TR FKI-126-90、タム。(このレポートでは、敵対的生成ネットワークによる人工的な好奇心と内発的動機付けも紹介されました。

10年前の2015年5月、私たちは数百のレイヤーを持つ最初の非常に深い勾配ベースのフィードフォワードニューラルネットワーク(FNN)を発表しました(以前のFNNは最大数十のレイヤーでした)。勾配消失の問題を克服するために、当社のハイウェイネットワークは、1991年に@HochreiterSeppによって初めて導入された残留接続を使用して、非常に深いLSTM RNNの忘却ゲート(Gers et al., 1999)と同様の乗算ゲートを介してゲート化されたリカレントNN(RNN)の一定のエラーフローを達成しました。ハイウェイNNは、私の元博士課程の学生である@rupspaceとクラウス・グレフの研究によって可能になりました。Highway NN ゲートを 1.0 に設定すると、7 か月後に公開された ResNet が効果的に得られます。 ディープラーニングは、NNの深さがすべてです。LSTMは、再発性NNに本質的に無制限の深さをもたらしました。Highway NetsはそれをフィードフォワードNNに持ち込みました。

1991年:最初のニューラルネットワーク蒸留[1-3]。当時、私はそれを「蒸留」ではなく「崩壊」と呼んでいました。 参照 [1] J.シュミットフーバー(1991)。ニューラルシーケンスチャンカー。技術レポートFKI-148-91、ミュンヘン工科大学。セクション3.2.2。第4節は、ニューラルネットワークの知識を別のニューラルネットワークに「崩壊」または「蒸留」または「圧縮」することについてです。 [2] JS(1992年)。履歴圧縮の原理を使用して、複雑で拡張されたシーケンスを学習します。ニューラルコンピュテーション, 4(2):234-242, 1992.[1]に基づきます。 [3] JS (AI ブログ、2021年、2025年更新)。1991年:教師なし事前学習による最初の非常に深い学習。最初のニューラルネットワークの蒸留。

今、誰もが再帰的な自己改善とゲーデルマシンについて、そしてそれがAGIにどのようにつながるかについて話しています。15年前とはなんという変化でしょう。ルガーノでAGI'2010を開催し、GoogleでAGI'2011の議長を務めました。AGIカンファレンスのバックボーンは、数学的に最適なユニバーサルAIでした:2003年のゲーデルマシン(および@mhutter42のAIXI-彼の2005年のUAIの本とその最近の2024年の更新を参照してください(マーカス・フッターのAIXIの研究が、彼がIDSIAのポスドクだったときに私の2000年のスイスSNF助成金によって資金提供されたことを誇りに思っています。

AGIですか?ある日、しかしまだです。現在、うまく機能している唯一のAIは、画面の後ろにいるAIです[12-17]。しかし、画面の後ろでチューリングテスト[9]に合格することは、現実世界の実際のロボットの実際のAIと比較すると簡単です。現在のAI駆動ロボットは配管工として認定できませんでした[13-17]。したがって、チューリングテストは知能の適切な尺度ではありません(IQもそうではありません)。そして、物理世界を支配していないAGIはAGIではありません。だからこそ、私は2004年に学習ロボットのためのTUM CogBotLabを設立し[5]、2014年には物理世界でのAIのための会社を共同設立し[6]、TUM、IDSIA、そして現在のKAUSTのチームにベビーロボットに向けて取り組んでいました[4,10-11,18]。このようなソフトロボットは、ただ人間を模倣するだけでなく、LLM/VLMのようにウェブをダウンロードするだけでは動作しません。それどころか、彼らは人工的好奇心の原理を利用して、神経世界モデル(私が1990年に使用した2つの用語[1-4])を改善しています。これらのロボットは多くのセンサーで動作しますが、アクチュエーターは弱いため、自分で発明した実験を考案して実行することで有用なデータを収集するときに、簡単に自分自身を傷つけることはありません[18]。 驚くべきことに、1970年代以降、多くの人が、自分よりも賢い自己改善型AGIを構築し、その後引退するという私の古い目標をからかってきました。しかし、最近になって、多くの人がようやくこれを真剣に受け止め始め、今では突然楽観的になりすぎている人もいます。これらの人々は、真のAIを実現するために解決しなければならない残りの課題に気づいていないことがよくあります。私の2024年のTEDトーク [15] は、その一部をまとめています。 参考文献(ウェブ上で簡単に見つけることができます): [1] J.シュミットフーバー。世界を区別可能にする:非定常環境での動的強化学習と計画のための完全再帰型自己教師ありニューラルネットワーク(NN)の使用について。TR FKI-126-90、TUM、1990年2月、1990年11月改訂。また、この論文では、ミニマックスゲームでジェネレータNNが予測子NNと戦っている敵対的生成ネットワークを通じて、人工的な好奇心と内発的動機づけを紹介しました。 [2] J.S.さん好奇心と退屈をモデル構築のニューラルコントローラーに実装する可能性。J. A. MeyerおよびSW Wilson、編集者、適応行動のシミュレーションに関する国際会議の議事録:動物から動物まで、222-227ページ。MITプレス/ブラッドフォードブックス、1991年。[1]に基づきます。 [3] J.S. AIブログ (2020).1990年:リカレントワールドモデルと人工的好奇心による計画と強化学習。[1][2]の側面と[7][8]を含む多くの後の論文をまとめたものです。 [4] J.S. AI Blog (2021): 1990年以降の人工的な好奇心と創造性。[1][2]の側面と[7][8]を含む多くの後の論文をまとめたものです。 [5] J.S. TU Munich CogBotLab for learning robots (2004-2009) [6] NNAISENSEは、2014年に設立され、物理世界のAI向けです。 [7] JS(2015年)。考えるための学習について:強化学習(RL)コントローラーと再帰型ニューラルワールドモデルの新しい組み合わせのためのアルゴリズム情報理論。arXiv 1210.0118。セクション5.3では、抽象的な推論、計画、および意思決定のためにモデルをクエリすることを学習するRLプロンプトエンジニアについて説明しています。今日、これは「思考の連鎖」と呼ばれています。 [8] JS(2018年)。1つの大きなネットですべてに。arXiv 1802.08864。特許US11853886B2と私のDeepSeekのツイートも参照してください:DeepSeekは、2015年の強化学習プロンプトエンジニア[7]とその2018年改良[8]の要素を使用しており、RLマシンと[7]の世界モデルを1つのネットに折りたたんでいます。これは、1991年の私のニューラルネット蒸留手順、つまり蒸留された思考連鎖システムを使用しています。 [9] JSチューリング売られ過ぎ。しかし、それはチューリングのせいではありません。AIブログ(2021年、Hacker Newsで#1でした) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein.(知能ロボットは生命に魅了されるでしょう。F.A.Z., 2015 (英語) [11] J.S. at Falling Walls:人工知能の過去、現在、未来。サイエンティフィック・アメリカン、オブザベーション、2017年。 [12] J.S. KI ist eine Riesenchance für Deutschland.(AIはドイツにとって大きなチャンスです。F.A.Z., 2018 (英語) [13] H.ジョーンズ。J.S.は、自分のライフワークがディストピアにつながらないと言っています。フォーブス誌、2023年。 [14] J.S. Jazzyearへのインタビュー、上海、2024年。 [15] TED AI Vienna(2024年)でのJ.S. TEDトーク:なぜ2042年はAIにとって大きな年になるのか。添付のビデオクリップをご覧ください。 [16] J.S. Baut den KI-gesteuerten Allzweckroboter!(AI制御の万能ロボットを作ろう!F.A.Z., 2024 (英語) [17] J.S. 1995-2025: ドイツと日本 vs アメリカと中国の衰退。万能ロボットはカムバックの原動力になれるか?AIブログ、2025年1月、[16]に基づいています。 [18] M.アルハカミ、DRアシュリー、J.ダナム、Y.ダイ、F.ファッチョ、E.フェロン、J.シュミットフーバー。高度な機械学習アルゴリズムのための豊富なインタラクション能力を備えた非常に堅牢なベビーロボットに向けて。プレプリントarxiv 2404.08093、2024年。

DeepSeek [1] は、2015 の強化学習プロンプト エンジニア [2] とその 2018 年の改良 [3] の要素を使用しており、1991 年のニューラル ネット蒸留手順[4] を通じて [2] を 1 つのネットに折りたたむことができます。 参考文献(ウェブ上で簡単に見つけることができます): [1] #DeepSeekR1 (2025): [強化学習によるLLMの推論能力のインセンティブ化]arXiv 2501.12948 [2] J.シュミットフーバー(JS、2015年)。考えるための学習について:強化学習コントローラーと再帰型ニューラルワールドモデルの新しい組み合わせのためのアルゴリズム情報理論。arXiv 1210.0118。セクション5.3では、抽象的な推論、計画、および意思決定のためにモデルを積極的かつ反復的にクエリすることを学習する強化学習(RL)プロンプトエンジニアについて説明します。 [3] JS (2018年).1つの大きなネットですべてに。arXiv 1802.08864。US11853886B2も参照してください。この論文では、1991年のニューラルネットワーク蒸留手順を使用して、強化学習器と[2]の世界モデル(基礎モデルなど)を1つのネットワークに折りたたむ[4]。基本的には、現在RLの「Chain of Thought」システムと呼ばれているもので、その後の改善が継続的に1つのネットに抽出されます。[5]も参照してください。 [ 4 ] JS ( 1991 ) 。履歴圧縮の原理を使用して、複雑で拡張されたシーケンスを学習します。ニューラルコンピュテーション, 4(2):234-242, 1992.TR FKI-148-91、TUM、1991年に基づいています。まず、深いリカレントニューラルネット階層(異なる自己組織化時間スケール)に基づいて深層学習を行い、教師なしの事前学習(CHatGPTのP)と予測コーディングを通じて勾配消失問題を克服します。また、教師用ネット(チャンカー)を圧縮または蒸留して、古いスキルを忘れない学生用ネット(オートマタイザー)にすることも、現在では広く利用されています。[6] も参照してください。 [5] JS (AIブログ、2020年)。再帰型世界モデルと人工的好奇心による計画と強化学習の30周年(1990年、高次元報酬信号とGAN原理を導入)。上記の [2][3] の要約が含まれています。 [6] JS (AIブログ、2021年)。30周年記念:教師なし事前学習による初の超深層学習(1991年)[4]。教師なし階層予測コーディングは、シーケンシャルデータのコンパクトな内部表現を見つけて、ダウンストリーム学習を容易にします。階層は [4] 、1 つのディープ ニューラル ネットワークに抽出できます。1993年:深さ>1000の問題を解決する。

ホップフィールド&ヒントンの2024年物理学 #NobelPrize は、盗作に対するノーベル賞であることが判明しました。彼らは、1960年代と1970年代にイヴァフネンコとアマリによって #Ukraine と #Japan に開発された方法論やその他の技術を再公開したが、元の発明者を引用せずにした。現代のAIにとって重要なアルゴリズムは、Hopfield & Hintonによって作成されたものではありません。 本日、この[NOB]に関する詳細な技術レポートを公開します。 もちろん、ニューラルネットワークのパイオニアやAIの専門家にチェックしてもらい、難攻不落であることを確認しました。 博士課程の若い学生に、古い論文を自分の作品のように読み直して再提出するように指示することは、今や受け入れられるのでしょうか?意図が何であれ、この賞は、はい、それはまったく問題ないことを示しています。 盗作のために肩書きや職を失った人もいます。例えば、ハーバード大学の元学長[PLAG7]などです。しかし、このノーベル賞受賞後、アドバイザーはどのようにして学生に盗作は絶対に避けるべきだと言い続けることができるのでしょうか。 盗作は「意図的でない」または「意図的または無謀」のいずれかであることはよく知られており[PLAG1-6]、この2つのうちより無害な方が、ここでは部分的に当てはまる可能性が非常に高いです。しかし、科学は、出版物や特許のタイムスタンプなどの事実に基づいて、「多重発見」や盗作に対処する方法を確立しています - それが意図的ではない[PLAG1-6][CONN21]であろうとなかろうと[FAKE,FAKE2]。科学の義務論では、意図しない盗作者が正誤表を通じて出版物を修正し、将来、元の情報源を適切にクレジットする必要があります。受賞者はそうではありませんでした。それどころか、受賞者は他の研究者の発明の引用を集め続けました[NOB][DLP]。この行動は、意図しない盗作[PLAG1-6]さえも意図的な形[FAKE2]に変えてしまうのではないでしょうか? 私は、これがそこにいるすべての若い学生に送るメッセージについて本当に心配しています。 参照 [NOB] J.シュミットフーバー(2024)。盗作のノーベル賞。テクニカルレポート IDSIA-24-24. [NOB+]ツイート:Hopfield & HintonのPhysics 2024の #NobelPrize は、コンピューターサイエンスにおける盗作と誤った帰属を報いるものです。それは主にアマリの「ホップフィールドネットワーク」と「ボルツマンマシン」についてです。 (ノーベル財団による最初の発表の1/7の人気) [DLP] J.シュミットフーバー(2023)。3 Turingの受賞者が、作成者のクレジットを認めなかった主要な方法とアイデアをどのように再公開したか。テクニカルレポートIDSIA-23-23、スイスAIラボIDSIA、2023年12月14日。 【DLP+】[DLP]のツイート: 【プラッグ1】盗作の種類に関するオックスフォードのガイド(2021)。引用: 「盗作は意図的または無謀、または意図的でない可能性があります。」 【プラッグ2】ジャクソン州立コミュニティカレッジ(2022年)。意図しない盗作。 [PLAG3] RLフォスター。意図しない盗作を避ける。小児看護の専門家のためのジャーナル;ホーボーケン第12巻、ISS。1, 2007. [PLAG4] N.ダス意図的であろうとなかろうと、盗作することは決して大丈夫ではありません:インドの大学が盗作を処理するようにアドバイスされている方法についてのメモ。Perspect Clin Res 9:56-7、2018年。 【プラッグ5】インフォサイ・オンデマンド (2023年)。意図しない盗作とは何ですか? 【プラッグ6】 (2022). 偶発的および意図しない盗作を回避する方法 (2023).インターネットアーカイブにコピーします。引用:「偶然であろうと意図的であろうと、盗作は依然として盗作です。」 【プラーグ7】コーネルレビュー、2024年。ハーバード大学の学長が盗作スキャンダルで辞任。2024年1月6日。 [偽物] H.ホップフ、A.クリーフ、G.メータ、SAマトリン。フェイク科学と知識の危機:無知は致命的となる可能性があります。王立協会オープンサイエンス、2019年5月。引用:「科学者は、ソーシャルメディア、従来の印刷物、放送紙で虚偽の情報が提示されているのを見たとき、積極的に発言しなければならない」「虚偽の情報や偽の科学が流通していることに反対し、それを宣伝する公人に力強く反論しなければならない」。 [FAKE2] L.ステンフロ。知的な盗作者は最も危険です。Nature(ネイチャー)、vol.427、777ページ(2004年2月)。引用:「私の意見では、さらに悪いのは、科学者が以前の発見を別の言葉で書き直し、意図的にアイデアの源を隠し、その後の数年間で新しい現象を発見したと力強く主張するケースです。」