لعبة Tinker من Thinking Machines وهي GA هي واحدة من أولى الإطلاقات منذ فترة التي تشعر فعلا وكأنها تدريب كمنتج. معظم واجهات برمجة التطبيقات المستضافة (بما في ذلك أسلوب OpenAI) رائعة عندما كل ما تحتاجه هو تجربة SFT نظيفة، لكن بمجرد أن تريد القيام بأي شيء حتى بسيط: مناهج مخصصة، تقييم عبر الإنترنت، تدريبات بعد المكافآت على شكل مكافأة، حلقات شبيهة بالتعلم الواقعي، حيل غريبة في التجميع/التعبئة: تصل إلى السقف بسرعة وتنتهي بإعادة بناء نصف مجموعة تدريب. Tinker يقلب ذلك أساسا: يعطيك واجهة برمجة تطبيقات تدريب مع عناصر أساسية منخفضة المستوى (عينة / forward_backward / optim_step / save_state)، بحيث تكتب الحلقة التي تريدها فعلا، وهم يتولون الأجزاء التي تتحول عادة إلى شهر من العمل في البنية التحتية (الجدولة، التكبير، الإعاقات، استعادة الفشل، لماذا توقفت هذه الوظيفة عند 93٪). كما أنها تعتمد على LoRA أولا، وهو بالضبط الإعداد الافتراضي المناسب للتخصيص: تقوم بالتكرار بسرعة أكبر، وتبقى التكاليف متوازنة، ويمكنك الاحتفاظ بعدة نسخ دون تكرار نقاط تفتيش ضخمة، ويصبح التقديم أكثر عملية بكثير. وأحب أيضا أن القصة ليست غامضة: يمكن ل LoRA حقا أن تضاهي الضبط الدقيق الكامل في العديد من مجموعات البيانات بعد التدريب عندما تضبط بشكل صحيح، لكن إذا كنت تحاول حشر تحول سلوكي كبير في محول صغير (أو أن مجموعة بياناتك تفوق السعة الفعالة للمحول بشكل كبير)، ستشعر بذلك العنق الزجاجي ولن يختفي فجأة. العيب الحقيقي الوحيد الذي أراه هو أرضية النماذج الصغيرة: إذا كان هدفك هو SLMs ذات الحافة الصغيرة، فغالبا هذه ليست الأداة. مع ذلك، أنا متحمس لذلك. لا أستطيع الانتظار لرؤية ما سيبنيه الناس.