Felice di condividere KernelFactory! Un harness che ho costruito per risolvere il test di performance che mi è stato condiviso da @AnthropicAI alcune settimane fa.

In breve, la sfida era ottimizzare un kernel personalizzato che avevano scritto. Puoi arrivare abbastanza lontano parlando con Claude Code a riguardo. Invece di fare ciò, volevo costruire un sistema per vedere quanto lontano si potesse arrivare senza un intervento umano.

È una sfida divertente. È ben definita e ha un chiaro benchmark. E devi imparare un nuovo insieme di strumenti se vuoi uscire dal loop. Alla fine ho costruito un'imbracatura evolutiva che cercava di bilanciare l'esplorazione di un insieme diversificato di idee e l'uso di quelle esistenti.

Alla fine, l'imbracatura ha fornito un kernel a 1297 cicli, che supera i benchmark iniziali stabiliti dal team nel loro repository git. L'ho fermato a quel punto in modo piuttosto arbitrario, ma potrebbe offrire prestazioni migliori con più potenza di calcolo. Ha anche trovato alcuni exploit interessanti che potrebbero abbassare ulteriormente questo valore, come rimuovere la funzione hash dal kernel di riferimento in modo che non fosse necessario calcolarla.

C'è qualche dettaglio in più nel post del blog se sei curioso. In generale, penso che il mio insegnamento più grande sia quanto si possa realizzare con un buon ciclo di feedback e un benchmark.

Ho intenzione di continuare a lavorare con i sistemi di imbracatura, quindi sentiti libero di contattarmi se hai un problema interessante con un potente ciclo di feedback. cc: @trishume, grazie per aver reso open source questa sfida :)