Thinking Machines'ten GA olan Tinker, uzun zamandır gerçekten bir ürün olarak eğitim gibi hissettiren ilk lansmanlardan biri. Çoğu barındırılan ince ayar API'si (OpenAI tarzı dahil) temiz bir SFT koşusu olduğunda harika, ama biraz da acı bir şey yapmak istediğinizde: özel müfredat, çevrimiçi değerlendirme, ödül şeklinde eğitim sonrası eğitim, gerçek doğaya özgü döngüler, garip toplu işleme/paketleme numaraları: hızlıca tavana ulaşıyorsunuz ve yarım antrenman yığınını yeniden inşa ediyorsunuz. Tinker bunu temelde tersine çeviriyor: size düşük seviyeli ilkel öğelerle (örnek / forward_backward / optim_step / save_state) bir eğitim API'si veriyor, böylece gerçekten istediğiniz döngüyü yazıyorsunuz ve normalde bir aylık altyapı çalışmasına dönüşen parçaları (planlama, ölçeklendirme, önkesmeler, arıza kurtarma, neden bu işin %93'te öldüğü gibi şeyler) hallediyorlar. Ayrıca LoRA'ya öncül, ki bu özelleştirme için tam olarak doğru varsayılan: daha hızlı iterasyon yaparsınız, maliyetler mantıklı kalır, dev kontrol noktalarını tekrarlamadan birden fazla varyantı tutabilirsiniz ve servis yapmak çok daha pratik hale geliyor. Ayrıca hikayenin el sallamamasını da seviyorum: LoRA, doğru kurduğunuzda birçok eğitim sonrası veri setinde tam ince ayarla eşleşebiliyor, ama küçük bir adaptöre büyük bir davranış değişikliği sığdırmaya çalışıyorsanız (ya da veri setiniz adaptörün etkili kapasitesini çok aşıyorsa), o darboğazı hissedeceksiniz ve sihirli bir şekilde ortadan kaybolmayacak. Gördüğüm tek gerçek dezavantaj küçük model zemin: Eğer hedefiniz küçük kenar SLM'lerse, bu muhtemelen uygun bir araç değil. Yine de heyecanlıyım. İnsanların ne yaptığını görmek için sabırsızlanıyorum.