nanochat teraz trenuje model zdolności GPT-2 w zaledwie 2 godziny na pojedynczym węźle 8XH100 (spadek z ~3 godzin miesiąc temu). Zbliżamy się do ~interaktywności! Wprowadzono wiele dostosowań i funkcji (fp8), ale największą różnicą była zmiana zestawu danych z FineWeb-edu na NVIDIA ClimbMix (świetna robota NVIDIA!). Próbowałem Olmo, FineWeb, DCLM, które wszystkie prowadziły do regresji, ClimbMix działał naprawdę dobrze od razu (do tego stopnia, że jestem trochę podejrzliwy co do goodhartingu, chociaż czytając artykuł wydaje się ~ok). W innych wiadomościach, po wypróbowaniu kilku podejść do tego, jak to wszystko ustawić, teraz mam Agenty AI, które automatycznie iterują nad nanochat, więc po prostu zostawię to działające przez chwilę, zrelaksuję się trochę i cieszę się uczuciem po-agi :). Wizualizowane tutaj jako przykład: 110 zmian dokonanych w ciągu ostatnich ~12 godzin, obniżając stratę walidacyjną z 0.862415 do 0.858039 dla modelu d12, bez kosztów czasowych. Agent pracuje na gałęzi funkcji, próbuje pomysłów, łączy je, gdy działają i iteruje. Zabawnie, przez ostatnie ~2 tygodnie czuję, że bardziej iterowałem nad "meta-ustawieniem", gdzie optymalizuję i dostosowuję przepływy agentów nawet bardziej niż bezpośrednio nad repozytorium nanochat.