Mă bucur să împărtășesc KernelFactory! Un ham pe care l-am construit pentru a rezolva testul de performanță împărtășit de @AnthropicAI acum câteva săptămâni
Pe scurt, provocarea a fost să optimizeze un kernel personalizat pe care l-au scris. Poți ajunge destul de departe vorbind cu Claude Code despre asta. În loc să fac asta, am vrut să construiesc un ham ca să văd cât de departe poți ajunge fără niciun om implicat.
E o provocare distractivă. Este bine structurată și are un reper clar. Și trebuie să înveți un set nou de unelte dacă vrei să ieși din cerc. Am ajuns să construiesc un ham evolutiv care încerca să echilibreze explorarea unui set divers de idei cu folosirea celor existente.
În final, harness-ul a oferit un nucleu de 1297 cicluri, care depășește benchmark-urile inițiale stabilite de echipă în depozitul git al lor. L-am oprit atunci, oarecum arbitrar, dar putea oferi performanțe mai bune cu mai multă capacitate de calcul. A găsit și câteva exploit-uri interesante care ar fi redus și mai mult, cum ar fi eliminarea funcției hash din nucleul de referință ca să nu fie nevoie să o calculeze.
Există mai multe detalii în postarea de pe blog, dacă ești curios. Per total, cred că cea mai importantă concluzie a mea este cât de mult poți realiza cu un feedback și un benchmark bun.
Plănuiesc să continui să mă joc cu hamurile, așa că nu ezita să mă contactezi dacă ai o problemă interesantă cu un circuit de feedback puternic. CC: @trishume, mulțumesc că ai deschis această provocare :)
158