تقوم NanoChat الآن بتدريب نموذج قدرة GPT-2 في ساعتين فقط على عقدة 8XH100 واحدة (بانخفاض عن ~3 ساعات قبل شهر). نقترب كثيرا من ~التفاعلية! تم إدخال الكثير من التعديلات والميزات (fp8) لكن الفرق الأكبر كان الانتقال بين مجموعة البيانات من FineWeb-edu إلى NVIDIA ClimbMix (عمل رائع يا NVIDIA!). جربت Olmo وFineWeb وDCLM وكلها أدت إلى تراجعات، وClimbMix عمل بشكل جيد جدا من البداية (لدرجة أنني أشك قليلا في goodharting، رغم أنني قرأت الورقة يبدو ~مقبول). في أخبار أخرى، بعد تجربة عدة طرق لإعداد الأمور، أصبح لدي الآن عملاء الذكاء الاصطناعي يكررون التكرار تلقائيا على nanochat، لذا سأترك هذا يعمل لفترة، أذهب للاسترخاء قليلا وأستمتع بشعور ما بعد :) العصبية. تم تصوره هنا كمثال: تم إجراء 110 تغييرات خلال ~12 ساعة الماضية، مما خفض فقدان التحقق حتى الآن من 0.862415 إلى 0.858039 لنموذج d12، دون أي تكلفة على وقت الساعة الجدارية. الوكيل يعمل على فرع ميزات، يجرب الأفكار، يدمجها عندما تعمل، ويكرر. ومن الطريف أنه خلال الأسبوعين الماضيين ~2 أشعر تقريبا أنني قمت بتحسين وضبط تدفق الوكلاء أكثر من مستودع nanochat مباشرة.