المواضيع الرائجة
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Jürgen Schmidhuber
مبادئ التعلم التلوي المخترعة (1987) ، GANs (1990) ، المحولات (1991) ، التعلم العميق جدا (1991) ، إلخ. يتم استخدام الذكاء الاصطناعي لدينا عدة مليارات من المرات كل يوم.
قبل عقد من الزمان: مهندس سريع للتعلم المعزز في القسم 5.3 من "تعلم التفكير ...» [2]. سلسلة الفكر التكيفية! تتعلم شبكة RL الاستعلام عن شبكة أخرى للتفكير المجرد واتخاذ القرار. تجاوز النموذج العالمي لعام 1990 للتخطيط بالمللي ثانية [1].
[2] ج. شميدهوبر (شبيبة ، 2015). «حول تعلم التفكير: نظرية المعلومات الخوارزمية لمجموعات جديدة من وحدات التحكم في RL ونماذج العالم العصبي المتكررة.» أرشيف 1210.0118
[1] شبيبة (1990). "جعل العالم قابلا للتمييز: حول استخدام الشبكات العصبية المتكررة بالكامل ذاتيا للإشراف من أجل التعلم المعزز الديناميكي والتخطيط في البيئات غير الثابتة." TR FKI-126-90 ، TUM. (قدم هذا التقرير أيضا فضولا مصطنعا ودافعا جوهريا من خلال شبكات الخصومة التوليدية.)

23.37K
قبل 10 سنوات ، في مايو 2015 ، نشرنا أول شبكات عصبية قائمة على التدرج العميق جدا (FNNs) تعمل بمئات الطبقات (كان لدى FNNs السابقة بضع عشرات من الطبقات كحد أقصى). للتغلب على مشكلة التدرج المتلاشي ، استخدمت شبكات الطرق السريعة الخاصة بنا الاتصالات المتبقية التي تم تقديمها لأول مرة في عام 1991 بواسطة @HochreiterSepp لتحقيق تدفق خطأ مستمر في NNs المتكررة (RNNs) ، المسورة من خلال بوابات مضاعفة مشابهة لبوابات النسيان (Gers et al. ، 1999) من LSTM RNN العميق جدا. أصبحت NNs على الطرق السريعة ممكنة من خلال عمل طلاب الدكتوراه السابقين @rupspace وكلاوس جريف. إن ضبط بوابات الطريق السريع NN على 1.0 يمنحنا بشكل فعال ResNet الذي تم نشره بعد 7 أشهر.
التعلم العميق هو كل شيء عن عمق NN. جلبت LSTMs عمقا غير محدود بشكل أساسي إلى NNs المتكررة. جلبتها شبكات الطرق السريعة إلى التغذية الأمامية NNs.
20.57K
1991: أول تقطير للشبكة العصبية [1-3]. أطلقت عليه اسم "الانهيار" في ذلك الوقت ، وليس "التقطير".
مراجع
[1] ج. شميدهوبر (1991). قطع التسلسل العصبي. التقرير الفني FKI-148-91 ، جامعة التكنولوجيا في ميونيخ. القسم 3.2.2. والجزء 4 يدور حول "انهيار" أو "تقطير" أو "ضغط" معرفة الشبكة العصبية في شبكة عصبية أخرى.
[2] شبيبة (1992). تعلم التسلسلات المعقدة والممتدة باستخدام مبدأ ضغط التاريخ. الحساب العصبي ، 4 (2): 234-242 ، 1992. استنادا إلى [1].
[3] شبيبة (مدونة الذكاء الاصطناعي ، 2021 ، محدثة عام 2025). 1991: أول تعلم عميق للغاية مع تدريب مسبق غير خاضع للإشراف. أول تقطير للشبكة العصبية.

16.06K
يتحدث الجميع عن التحسين الذاتي المتكرر وآلات Gödel الآن وكيف سيؤدي ذلك إلى AGI. يا له من تغيير منذ 15 عاما! كان لدينا AGI'2010 في لوغانو وترأسنا AGI'2011 في Google. كان العمود الفقري لمؤتمرات AGI هو الذكاء الاصطناعي العالمي الأمثل رياضيا: آلة Gödel لعام 2003 (و AIXI @mhutter42 - انظر كتابه لعام 2005 UAI وتحديثه الأخير لعام 2024 (أنا فخور بأن عمل ماركوس هوتر في AIXI تم تمويله من خلال منحة SNF السويسرية لعام 2000 عندما كان باحث ما بعد الدكتوراه في IDSIA.

57.02K
AGI؟ يوم واحد ، لكن ليس بعد. الذكاء الاصطناعي الوحيد الذي يعمل بشكل جيد في الوقت الحالي هو الذي يقف خلف الشاشة [12-17]. لكن اجتياز اختبار تورينج [9] خلف الشاشة أمر سهل مقارنة ب الذكاء الاصطناعي الحقيقي للروبوتات الحقيقية في العالم الحقيقي. لا يمكن اعتماد أي روبوت حالي يعمل بنظام الذكاء الاصطناعي كسباك [13-17]. وبالتالي ، فإن اختبار تورينج ليس مقياسا جيدا للذكاء (ولا معدل الذكاء). و AGI بدون إتقان العالم المادي ليس AGI. لهذا السبب أنشأت TUM CogBotLab لتعلم الروبوتات في عام 2004 [5] ، وشاركت في تأسيس شركة لاستخدام الذكاء الاصطناعي في العالم المادي في عام 2014 [6] ، وكان لدي فرق في TUM و IDSIA والآن تعمل في جامعة الملك عبدالله للعلوم والتقنية من أجل الروبوتات الصغيرة [4،10-11،18]. هذه الروبوتات اللينة لا تقلد البشر بخنوع فقط ولا تعمل بمجرد تنزيل الويب مثل LLMs / VLMs. لا. بدلا من ذلك ، يستغلون مبادئ الفضول الاصطناعي لتحسين نماذج العالم العصبية الخاصة بهم (مصطلحان استخدمتهما في عام 1990 [1-4]). تعمل هذه الروبوتات مع الكثير من أجهزة الاستشعار ، ولكن فقط مع المحركات الضعيفة ، بحيث لا يمكنها إيذاء نفسها بسهولة [18] عندما تجمع بيانات مفيدة من خلال ابتكار وتشغيل تجاربهم التي اخترعوها بأنفسهم.
من اللافت للنظر ، منذ سبعينيات القرن العشرين ، سخر الكثيرون من هدفي القديم المتمثل في بناء AGI ذاتي التحسين أكثر ذكاء مني ثم التقاعد. ومع ذلك ، في الآونة الأخيرة ، بدأ الكثيرون أخيرا في أخذ هذا الأمر على محمل الجد ، والآن أصبح بعضهم متفائلا للغاية فجأة. غالبا ما يكون هؤلاء الأشخاص غير مدركين للتحديات المتبقية التي يتعين علينا حلها لتحقيق الذكاء الاصطناعي الحقيقي. يلخص حديثي في TED لعام 2024 [15] بعضا من ذلك.
المراجع (يسهل العثور عليها على الويب):
[1] ج. شميدهوبر. جعل العالم قابلا للتمييز: حول استخدام الشبكات العصبية المتكررة بالكامل (NNs) للتعلم والتخطيط المعزز الديناميكي في البيئات غير الثابتة. TR FKI-126-90 ، TUM ، فبراير 1990 ، تمت مراجعته في نوفمبر 1990. قدمت هذه الورقة أيضا فضولا مصطنعا ودافعا جوهريا من خلال شبكات الخصومة التوليدية حيث يقاتل مولد NN متنبئا في لعبة minimax.
[2] ج. س. إمكانية تنفيذ الفضول والملل في وحدات التحكم العصبية لبناء النماذج. في J.A. Meyer و S.W Wilson ، محرران ، Proc. للمؤتمر الدولي حول محاكاة السلوك التكيفي: من إلى الرسوم المتحركة، الصفحات 222-227. مطبعة معهد ماساتشوستس للتكنولوجيا / كتب برادفورد ، 1991. استنادا إلى [1].
[3] مدونة الذكاء الاصطناعي (2020). 1990: التخطيط والتعلم المعزز بنماذج عالمية متكررة وفضول اصطناعي. تلخيص جوانب [1] [2] والكثير من الأوراق اللاحقة بما في ذلك [7] [8].
[4] مدونة الذكاء الاصطناعي (2021): الفضول والإبداع الاصطناعي منذ عام 1990. تلخيص جوانب [1] [2] والكثير من الأوراق اللاحقة بما في ذلك [7] [8].
[5] J.S. TU Munich CogBotLab لتعلم الروبوتات (2004-2009)
[6] NNAISENSE ، التي تأسست في عام 2014 ، من أجل الذكاء الاصطناعي في العالم المادي
[7] ج. (2015). حول تعلم التفكير: نظرية المعلومات الخوارزمية لمجموعات جديدة من وحدات التحكم في التعلم المعزز (RL) ونماذج العالم العصبي المتكررة. arXiv 1210.0118. يصف القسم 5.3 مهندس سريع RL الذي يتعلم الاستعلام عن نموذجه للتفكير المجرد والتخطيط واتخاذ القرار. اليوم يسمى هذا "سلسلة الفكر".
[8] ج. (2018). شبكة واحدة كبيرة لكل شيء. arXiv 1802.08864. انظر أيضا US11853886B2 براءات الاختراع وتغريدة DeepSeek الخاصة بي: يستخدم DeepSeek عناصر من مهندس موجه التعلم المعزز لعام 2015 [7] وتحسينه لعام 2018 [8] الذي ينهار آلة RL والنموذج العالمي ل [7] في شبكة واحدة. يستخدم هذا إجراء التقطير الشبكي العصبي الخاص بي لعام 1991: سلسلة من نظام التفكير المقطر.
[9] ج. تورينج ذروة البيع. ومع ذلك ، فهذا ليس خطأ تورينج. مدونة الذكاء الاصطناعي (2021 ، كانت # 1 على Hacker News)
[10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (سوف تكون الروبوتات الذكية مفتونة بالحياة.) ف.أ.ز., 2015
[11] ج. في الجدران المتساقطة: ماضي وحاضر ومستقبل الذكاء الاصطناعي. Scientific American ، ملاحظات ، 2017.
[12] J.S. KI ist eine Riesenchance für Deutschland. (الذكاء الاصطناعي فرصة كبيرة لألمانيا). ف.أ.ز.، 2018
[13] إتش جونز. يقول ج. س. إن عمل حياته لن يؤدي إلى ديستوبيا. مجلة فوربس ، 2023.
[14] مقابلة مع ج. جازيير ، شنغهاي ، 2024.
[15] ج. محاضرة تيد في TED الذكاء الاصطناعي فيينا (2024): لماذا سيكون عام 2042 عاما كبيرا بالنسبة لمنظمة الذكاء الاصطناعي. انظر مقطع الفيديو المرفق.
[16] J.S. Baut den KI-gesteuerten Allzweckroboter! (قم ببناء روبوت متعدد الأغراض يتم التحكم فيه بواسطة الذكاء الاصطناعي!) ف.أ.ز., 2024
[17] ج. 1995-2025: تراجع ألمانيا واليابان مقابل الولايات المتحدة والصين. هل يمكن للروبوتات متعددة الأغراض أن تغذي العودة؟ مدونة الذكاء الاصطناعي ، يناير 2025 ، بناء على [16].
[18] إم الحكمي ، دي آر آشلي ، جيه دنهام ، واي داي ، إف فاتشيو ، إي فيرون ، جيه شميدهوبر. نحو روبوت أطفال قوي للغاية مع قدرة تفاعل غنية لخوارزميات التعلم الآلي المتقدمة. ما قبل الطباعة arxiv 2404.08093 ، 2024.
66.83K
يستخدم DeepSeek [1] عناصر من مهندس سريع التعلم المعزز لعام 2015 [2] وتحسينه لعام 2018 [3] الذي ينهار آلة RL والنموذج العالمي ل [2] في شبكة واحدة من خلال إجراء تقطير الشبكة العصبية لعام 1991 [4]: سلسلة مقطرة من نظام الفكر.
المراجع (يسهل العثور عليها على الويب):
[1] #DeepSeekR1 (2025): تحفيز القدرة على التفكير في LLMs من خلال التعلم المعزز. arXiv 2501.12948
[2] ج. شميدهوبر (شبيبة ، 2015). حول تعلم التفكير: نظرية المعلومات الخوارزمية لمجموعات جديدة من وحدات التحكم في التعلم المعزز ونماذج العالم العصبي المتكررة. arXiv 1210.0118. يصف القسم 5.3 المهندس الفوري للتعلم المعزز (RL) الذي يتعلم الاستعلام بنشاط وتكرار عن نموذجه للتفكير المجرد والتخطيط واتخاذ القرار.
[3] شبيبة (2018). شبكة واحدة كبيرة لكل شيء. arXiv 1802.08864. انظر أيضا US11853886B2. تقوم هذه الورقة بطي المتعلم المعزز والنموذج العالمي ل [2] (على سبيل المثال ، نموذج الأساس) في شبكة واحدة ، باستخدام إجراء تقطير الشبكة العصبية لعام 1991 [4]. بشكل أساسي ما يسمى الآن نظام "سلسلة الفكر" RL ، حيث يتم تقطير التحسينات اللاحقة باستمرار في شبكة واحدة. انظر أيضا [5].
[4] شبيبة (1991). تعلم التسلسلات المعقدة والممتدة باستخدام مبدأ ضغط التاريخ. الحساب العصبي ، 4 (2): 234-242 ، 1992. استنادا إلى TR FKI-148-91 ، TUM ، 1991. أول متعلم عميق يعمل على أساس التسلسل الهرمي للشبكة العصبية المتكررة العميقة (بمقاييس زمنية مختلفة ذاتية التنظيم) ، والتغلب على مشكلة التدرج المتلاشي من خلال التدريب المسبق غير الخاضع للإشراف (P في CHatGPT) والترميز التنبؤي. أيضا: ضغط أو تقطير شبكة المعلم (القطعة) في شبكة الطالب (الأتمتة) التي لا تنسى مهاراتها القديمة - تستخدم هذه الأساليب الآن على نطاق واسع. انظر أيضا [6].
[5] شبيبة (مدونة الذكاء الاصطناعي ، 2020). الذكرى السنوية ال 30 للتخطيط والتعلم المعزز مع النماذج العالمية المتكررة والفضول المصطنع (1990 ، إدخال إشارات مكافأة عالية الأبعاد ومبدأ GAN). يحتوي على ملخصات [2] [3] أعلاه.
[6] شبيبة (مدونة الذكاء الاصطناعي ، 2021). الذكرى السنوية ال 30: أول تعلم عميق للغاية مع تدريب مسبق غير خاضع للإشراف (1991) [4]. يجد الترميز التنبؤي الهرمي غير الخاضع للإشراف تمثيلات داخلية مدمجة للبيانات المتسلسلة لتسهيل التعلم النهائي. يمكن تقطير التسلسل الهرمي [4] في شبكة عصبية عميقة واحدة. 1993: حل مشاكل العمق >1000.

786.95K
تبين أن #NobelPrize في الفيزياء 2024 ل Hopfield & Hinton هي جائزة نوبل للسرقة الأدبية. أعادوا نشر المنهجيات التي طورها إيفاخنينكو وأماري في #Ukraine و #Japan في الستينيات والسبعينيات ، بالإضافة إلى تقنيات أخرى ، دون الاستشهاد بالمخترعين الأصليين. لم يتم إنشاء أي من الخوارزميات المهمة لنظام الذكاء الاصطناعي الحديث بواسطة Hopfield & Hinton.
اليوم أصدر تقريرا تقنيا مفصلا حول هذا [NOB]:
بالطبع ، قمت بفحصه من قبل رواد الشبكات العصبية وخبراء الذكاء الاصطناعي للتأكد من أنه لا يمكن التغلب عليه.
هل من المقبول الآن بالنسبة لي أن أوجه طلاب الدكتوراه الشباب لقراءة الأوراق القديمة وإعادة كتابتها وإعادة تقديمها كما لو كانت أعمالهم الخاصة؟ مهما كانت النية ، فإن هذه الجائزة تقول ذلك ، نعم ، هذا جيد تماما.
فقد بعض الأشخاص ألقابهم أو وظائفهم بسبب الانتحال ، على سبيل المثال ، رئيس هارفارد السابق [PLAG7]. ولكن بعد جائزة نوبل هذه ، كيف يمكن للمستشارين الآن الاستمرار في إخبار طلابهم أنه يجب عليهم تجنب الانتحال بأي ثمن؟
من المعروف جيدا أن الانتحال يمكن أن يكون إما "غير مقصود" أو "متعمد أو متهور" [PLAG1-6] ، وقد يكون الأكثر براءة من الاثنين هو الحال جزئيا هنا. لكن العلم لديه طريقة راسخة للتعامل مع "الاكتشافات المتعددة" والانتحال - سواء كان ذلك غير مقصود [PLAG1-6] [CONN21] أو لا [fake ، fake2] - بناء على حقائق مثل الطوابع الزمنية للمنشورات وبراءات الاختراع. يتطلب علم الأخلاق للعلم أن يقوم الانتحال غير المقصود بتصحيح منشوراتهم من خلال الأخطاء ثم ينسب الفضل إلى المصادر الأصلية بشكل صحيح في المستقبل. الفائزون لم يفعلوا. بدلا من ذلك ، استمر الفائزون في جمع الاستشهادات لاختراعات باحثين آخرين [NOB] [DLP]. ألا يحول هذا السلوك حتى الانتحال غير المقصود [PLAG1-6] إلى شكل مقصود [FAKE2]؟
أنا قلق حقا بشأن الرسالة التي يرسلها هذا إلى كل هؤلاء الطلاب الصغار هناك.
مراجع
[NOB] ج. شميدهوبر (2024). جائزة نوبل للسرقة الأدبية. التقرير الفني IDSIA-24-24.
[NOB+] تغريدة: يكافئ #NobelPrize في الفيزياء 2024 ل Hopfield & Hinton الانتحال والإسناد غير الصحيح في علوم الكمبيوتر. يتعلق الأمر في الغالب ب "شبكة هوبفيلد" الخاصة ب Amari و "Boltzmann Machine". (1/7 شعبية مثل الإعلان الأصلي لمؤسسة نوبل)
[DLP] ج. شميدهوبر (2023). كيف أعاد 3 من الفائزين بجائزة تورينج نشر الأساليب والأفكار الرئيسية التي فشلوا في الفضل في منشئيها. التقرير الفني IDSIA-23-23 ، مختبر الذكاء الاصطناعي السويسري IDSIA ، 14 ديسمبر 2023.
[DLP+] تغريد ل [DLP]:
[PLAG1] دليل أكسفورد لأنواع الانتحال (2021). اقتباس: "قد يكون الانتحال متعمدا أو متهورا أو غير مقصود."
[PLAG2] كلية جاكسون ستيت كوميونيتي (2022). الانتحال غير المقصود.
[PLAG3] آر إل فوستر. تجنب الانتحال غير المقصود. مجلة المتخصصين في تمريض الأطفال. هوبوكين المجلد 12 ، إي إس. 1, 2007.
[PLAG4] ن. داس. عن قصد أو غير مقصود ، لا بأس أبدا بالسرقة الأدبية: ملاحظة حول كيفية نصح الجامعات الهندية بالتعامل مع الانتحال. Perspect Clin Res 9: 56-7 ، 2018.
[PLAG5] InfoSci-OnDemand (2023). ما هو الانتحال غير المقصود؟
[PLAG6] (2022). كيفية تجنب الانتحال العرضي وغير المقصود (2023). انسخ في أرشيف الإنترنت. اقتباس: "قد يكون عرضيا أو متعمدا ، لا يزال الانتحال سرقة أدبية."
[PLAG7] مراجعة كورنيل ، 2024. رئيس جامعة هارفارد يستقيل في فضيحة الانتحال. 6 يناير 2024.
[مزيف] إتش هوبف ، أ. كريف ، جي ميهتا ، إس إيه ماتلين. العلم المزيف وأزمة المعرفة: الجهل يمكن أن يكون قاتلا. الجمعية الملكية للعلوم المفتوحة ، مايو 2019. اقتباس: "يجب أن يكون العلماء على استعداد للتحدث علنا عندما يرون معلومات خاطئة يتم تقديمها في وسائل التواصل الاجتماعي أو الصحافة المطبوعة أو المسموعة التقليدية" و "يجب أن يتحدثوا علنا ضد المعلومات الكاذبة والعلوم المزيفة المتداولة ويتناقضون بقوة مع الشخصيات العامة التي تروج لها".
[مزيف2] ل. ستينفلو. الانتحال الأذكياء هم الأخطر. طبيعة سجية ، المجلد 427 ، ص. 777 (فبراير 2004). اقتباس: "ما هو أسوأ ، في رأيي ، ... ، هو الحالات التي يعيد فيها العلماء كتابة النتائج السابقة بكلمات مختلفة ، وإخفاء مصادر أفكارهم عمدا ، ثم يدعون بقوة خلال السنوات اللاحقة أنهم اكتشفوا ظواهر جديدة."

721.85K
الأفضل
المُتصدِّرة
التطبيقات المفضلة
رائج على السلسة
رائج على منصة X
أهم عمليات التمويل الأخيرة
الأبرز