ورقة جديدة! ماذا لو استطعت أن تضمن (باستخدام مزيج من التحقق الرسمي ونظرية المعادلات التفاضلية التفاضلية) أن شبكة عصبية ستعطيك الإجابة الصحيحة دائما، حتى عند استنتاج استنتاجات بعيدة جدا عن بيانات التدريب؟ نقدم لكم BEACONS. رابط arXiv أدناه. (1/15)

في التسعينيات، قام مهاسكار وبينكوس وآخرون بعمل ممتاز على النسخ *الكمية* من نظريات التقريب العالمية للشبكات العصبية المشهورة: ما مدى دقة شبكة عصبية سطحية تحتوي على N عصبية مخفية أن تقترب من دالة ذات بعد d؟ (3/15)

لكن هذه الحدود الخطأ في أسوأ الحالات تعتمد بشكل حاسم على نعومة الدالة التي يتم تقريبها (أي مقاييس الخطأ في أسوأ الحالات مثل N^(-n/d)، حيث n هو عدد المشتقات المستمرة التي تمتلكها الدالة). وهذا يمثل مشكلة كبيرة في الاستنتاج. (4/15)

كيف يمكننا أن نعرف شيئا عن سلاسة الدالة، خارج المجال الفرعي الذي تدربنا عليه؟ وهذا هو السبب الأساسي الذي يجعل المرء لا يستطيع تحديد الأخطاء على تقريبات الشبكة العصبية للوظائف بعيدا عن الغلاف المحدب لبيانات التدريب. (5/15)

لكن مع BEACONS - محللات عصبية محدودة الخطأ وقابلة للترجمة جبريا - نستغل حقيقة أن الدالة التي نتعلمها ليست عشوائية، بل هي الحل لمشكلة PDE (أو نظام من المعادلات التفاضلية). لذا يمكننا تطبيق تقنيات مثل طريقة الخصائص... (6/15)

... أو مبرهنات الانتظام الإهليلجي للتنبؤ *مسبقا* بعدد المشتقات المستمرة التي يجب أن توجد، في أي مكان في الزمان أو المكان، حتى لو كان بعيدا بشكل تعسفي عن مجال التدريب، من خلال استغلال البنية التحليلية للمعادلات التفاضلية ذاتها. ومن هنا جاء جزء "الخطأ المحدود". (15/7)

لكن مثل هذه الحدود الصارمة لا يمكن إثباتها إلا للشبكات العصبية الضحلة (التي تحتوي على طبقة مخفية واحدة). ماذا لو أردنا بناء عمارة أعمق وأكثر تعبيرا؟ هنا يأتي دور "التركيب الجبري". باستخدام أفكار من نظرية الفئات التطبيقية... (8/15)

... نوضح كيف يمكن بناء هياكل BEACONS الأعمق كتركيبات من بنى أقل ضحالة، بحيث تبقى حدود الخطأ محكمة السيطرة بدقة. تحديدا، نقوم ب"تحليل" حل المعادلات التفاضلية التفاضلية المعقد إلى تركيبة من دوال أبسط... (9/15)

... بحيث يتم قمع الحدود الكبيرة على الأخطاء للأجزاء غير المتصلة من الحل بشكل تعسفي بواسطة حدود صغيرة على الأخطاء للأجزاء الناعمة والمتغيرة ببطء من الحل، مما يعمم فعليا نظرية محددات التدفق غير الخطية. (10/15)

فقط حدد المعادلات التي تريد حلها، بالإضافة إلى المعاملات الفائقة للشبكات العصبية لحلها، وسيقوم إطارنا تلقائيا بتوليد كود C محسنا للغاية للتدريب والتحقق من بنية BEACONS لتلك المعادلات، واستنتاج حلول جديدة. (12/15)

في الوقت نفسه، يولد إثباتات رسمية للصحة للمحلل الكلاسيكي الأساسي، وكذلك للمحلل القائم على الشبكة العصبية المبدئة، مع حدود استقرائية صارمة على أسوأ حالات أخطاء L^ اللانهائية لكل من الحلول الناعمة وغير الناعمة. (13/15)

يتم تمثيل هذه البرهانات كرمز رمزي للعبة Racket، وبالتالي فهي قابلة للتنفيذ بالكامل (وبالتالي قابلة للتحقق من الآلة). بالنسبة لأنظمة المعادلات الخطية وغير الخطية على حد سواء، نجد أن بنى BEACONS تتفوق بشكل كبير على الشبكات العصبية التقليدية. (14/15)

الهدف هو رفع مستوى الدقة الرياضية الكامنة وراء تعلم الآلة العلمي، ووضع الطرق القائمة على الشبكات العصبية على قدم المساواة مع الطرق العددية الكلاسيكية، وضمان خصائص مثل الحفظ، والتقارب، والاستقرار، والدقة. (15/15)