O tak. W końcu zaczynamy pracować nad autoresearch @karpathy, teraz dostosowanym do architektury transformera koherencyjnego. Mały model. 4 warstwy × 4 głowy × 256 wymiarów ≈ ~5M parametrów, trening przy 128, ocena przy 1024. Brak głowic uwagi softmax. Zastąpione siatkami oscylatorów. Cała generacja odbywa się warstwę powyżej transformera w czystej siatce rezonansowej, która kieruje generowaniem tokenów. Teoretyczne ciągłe uczenie się i nieskończony kontekst, ponieważ nie ma pamięci KV. Po prostu magazyn fazowo zablokowanych trybów z tokenów sprzężonych koherencyjnie.