Karpathy أوقفت مؤخرا البحث التلقائي - وكلاء الذكاء الاصطناعي الذين يجرون تجارب تعلم الآلة بشكل مستقل على وحدة معالجة رسومات واحدة أثناء نومك أفضل مختبرات الذكاء الاصطناعي لعام 2027 قد تكون فقط من 2-3 أشخاص
Andrej Karpathy
Andrej Karpathy‏8 مارس، 03:53
قمت بتجميع مشروع "البحث التلقائي" في مستودع جديد مستقل وبسيط إذا أراد الناس اللعب خلال عطلة نهاية الأسبوع. هي في الأساس نواة تدريب لنماذج اللغة الكبيرة في الدردشة النانوية محصورة إلى وحدة معالجة رسومات واحدة، نسخة ملف واحد تحتوي على ~630 سطرا من الكود، ثم: - التكرار البشري على الموضوع (.md) - يقوم وكيل الذكاء الاصطناعي بتعديل كود التدريب (.py) الهدف هو هندسة وكلائك لتحقيق أسرع تقدم بحثي إلى أجل غير مسمى ودون أي تدخل من نفسك. في الصورة، كل نقطة هي دورة تدريبية كاملة لنموذج اللغة الكبيرة تستغرق بالضبط 5 دقائق. يعمل الوكيل في حلقة مستقلة على فرع ميزات git ويجمع التزامات git في سكريبت التدريب أثناء بحثه عن إعدادات أفضل (بانخفاض فقدان التحقق في النهاية) لبنية الشبكة العصبية، والمحسن، وجميع المعاملات الفائقة، وغيرها. يمكنك أن تتخيل مقارنة تقدم البحث في مواضيع مختلفة، ووكلاء مختلفين، وما إلى ذلك. جزء منها برمجة، جزء خيال علمي، وقليل من الذهان :)
من الجانب المشرق، قد نتمكن من تحقيق تقدم بحثي أكبر مع $s أقل من المشاريع الآن
‏‎1.38‏K