Felice di condividere KernelFactory Un harness che ho costruito per risolvere il test di performance takehome condiviso da @AnthropicAI alcune settimane fa

In breve, la sfida era ottimizzare un kernel personalizzato che avevano scritto. Puoi arrivare abbastanza lontano parlando con Claude Code a riguardo. Invece di fare ciò, volevo costruire un sistema per vedere quanto lontano si potesse arrivare senza un intervento umano.

È una sfida divertente perché è ben definita e ha un chiaro benchmark. E devi imparare un nuovo insieme di strumenti se vuoi uscire dal loop. Alla fine ho costruito un'imbracatura evolutiva che cercava di bilanciare l'esplorazione di un insieme diversificato di idee e l'uso di quelle esistenti.

Alla fine, l'imbracatura ha fornito un kernel a 1297 cicli, che supera i benchmark iniziali stabiliti dal team nel loro repository git. Ha anche trovato alcuni exploit divertenti che potrebbero abbassare ulteriormente questo valore, come rimuovere la funzione hash dal kernel di riferimento in modo che non fosse necessario calcolarla.

C'è qualche dettaglio in più nel post del blog se sei curioso. In generale, penso che il mio insegnamento più grande sia quanto si possa realizzare con un buon ciclo di feedback e un benchmark.

Ho intenzione di continuare a lavorare con i sistemi di imbracatura, quindi sentiti libero di contattarmi se hai un problema interessante con un potente ciclo di feedback.

@trishume grazie per aver reso open source questo problema, potresti trovare interessante il harness sopra!