nanochat artık GPT-2 yetenek modelini tek bir 8XH100 düğümünde sadece 2 saatte eğitiyor (1 ay önce ~3 saatten düştü). ~etkileşime çok daha yaklaşıyorum! Birçok ayar ve özellik (fp8) eklendi ama en büyük fark veri setinin FineWeb-edu'dan NVIDIA ClimbMix'e geçmesiydi (güzel iş NVIDIA!). Olmo, FineWeb, DCLM denedim ve hepsi gerilemelere yol açtı, ClimbMix kutudan çıktığı gibi çok iyi çalıştı (goodharting konusunda biraz şüpheliydim, ama makaleyi okuyunca ~ok gibi görünüyor). Diğer bir haber olarak, kurulum yöntemlerini birkaç kez denedim, şimdi yapay zeka ajanlarım nanochat'i otomatik olarak yineliyor, bu yüzden bunu bir süre açık bırakacağım, biraz dinlenip post-agi :) hissinin tadını çıkaracağım. Burada örnek olarak görselleştiriyorum: Son ~12 saatte yapılan 110 değişiklik, doğrulama kaybı d12 modeli için 0.862415'ten 0.858039'a düştü, duvar saati maliyeti olmadan. Ajan bir özellik dalı üzerinde çalışır, fikirleri dener, çalışırken birleştirir ve yineleme yapar. Komik bir şekilde, son ~2 haftada ajanların akışlarını nanochat deposundan bile daha fazla optimize edip ayarladığım "meta-kurulum"da daha fazla ilerlediğimi hissediyorum.