Blij om KernelFactory te delen! Een harnas dat ik heb gebouwd om de prestatie takehome test op te lossen die een paar weken geleden door @AnthropicAI is gedeeld.
Kortom, de uitdaging was om een aangepaste kernel die ze hadden geschreven te optimaliseren. Je kunt best ver komen door met Claude Code erover te praten. In plaats van dat te doen, wilde ik een harnas bouwen om te zien hoe ver je kunt komen zonder menselijke tussenkomst.
Het is een leuke uitdaging. Het is goed afgebakend en heeft een duidelijke benchmark. En je moet een nieuwe set tools leren als je uit de cirkel wilt komen. Uiteindelijk heb ik een evolutionaire harnas gebouwd dat probeerde de verkenning van een diverse set ideeën in balans te brengen met het gebruik van bestaande.
Uiteindelijk leverde de harnas een 1297-cycluskernel, die de initiële benchmarks van het team in hun git-repo overtrof. Ik stopte op dat punt enigszins willekeurig, maar het zou betere prestaties kunnen leveren met meer rekenkracht. Het vond ook enkele leuke exploits die dit nog lager zouden kunnen krijgen, zoals het verwijderen van de hashfunctie uit de referentiekernel, zodat deze deze niet hoefde te berekenen.
Er zijn nog wat meer details in de blogpost als je nieuwsgierig bent. Al met al denk ik dat mijn grootste inzicht is hoeveel je kunt bereiken met een goede feedbackloop en benchmark.
Ik ben van plan om te blijven experimenteren met harnassen, dus voel je vrij om contact op te nemen als je een interessant probleem hebt met een krachtige feedbacklus. cc: @trishume, bedankt voor het open source maken van deze uitdaging :)
161