Senang berbagi KernelFactory! Harness yang saya buat untuk memecahkan tes kinerja yang dibagikan oleh @AnthropicAI beberapa minggu yang lalu

Singkatnya, tantangannya adalah mengoptimalkan kernel khusus yang mereka tulis. Anda bisa melangkah cukup jauh berbicara dengan Claude Code tentang hal itu. Alih-alih melakukan itu, saya ingin membuat harness untuk melihat seberapa jauh Anda bisa melangkah tanpa manusia dalam lingkaran.

Ini adalah tantangan yang menyenangkan. Ini cakupan yang baik dan memiliki tolok ukur yang jelas. Dan Anda perlu mempelajari seperangkat alat baru jika Anda ingin keluar dari lingkaran. Saya akhirnya membangun harness evolusi yang mencoba menyeimbangkan eksplorasi serangkaian ide yang beragam dan menggunakan yang sudah ada.

Pada akhirnya harness menghasilkan kernel 1297 siklus, yang mengalahkan tolok ukur awal yang ditetapkan oleh tim dalam repositori git mereka. Saya menghentikannya pada saat itu agak sewenang-wenang, tetapi itu bisa memberikan kinerja yang lebih baik dengan lebih banyak komputasi. Itu juga menemukan beberapa eksploitasi menyenangkan yang akan membuat ini lebih rendah, seperti menghapus fungsi hash dari kernel referensi sehingga tidak perlu menghitungnya.

Ada beberapa detail lebih lanjut dalam posting blog jika Anda penasaran. Secara keseluruhan, saya pikir poin terbesar saya adalah seberapa banyak yang dapat Anda selesaikan dengan lingkaran umpan balik dan tolok ukur yang baik.

Saya berencana untuk terus mengutak-atik harness, jadi jangan ragu untuk menghubungi jika Anda memiliki masalah menarik dengan lingkaran umpan balik yang kuat. CC: @trishume, terima kasih telah membuka sumber tantangan ini :)