Feliz por compartilhar o KernelFactory! Uma estrutura que construí para resolver o teste de desempenho que foi compartilhado por @AnthropicAI há algumas semanas.

Em resumo, o desafio era otimizar um kernel personalizado que eles escreveram. Você pode chegar bastante longe conversando com Claude Code sobre isso. Em vez de fazer isso, eu queria construir um dispositivo para ver até onde você poderia chegar sem intervenção humana.

É um desafio divertido. Está bem definido e tem um marco claro. E você precisa aprender um novo conjunto de ferramentas se quiser sair do ciclo. Acabei construindo um arnês evolutivo que tentava equilibrar a exploração de um conjunto diversificado de ideias e o uso das existentes.

No final, o harness entregou um kernel de 1297 ciclos, que supera os benchmarks iniciais definidos pela equipe no seu repositório git. Eu parei nesse ponto de forma um tanto arbitrária, mas poderia oferecer um desempenho melhor com mais capacidade de computação. Ele também encontrou algumas explorações interessantes que poderiam reduzir ainda mais isso, como remover a função hash do kernel de referência para que não precisasse calculá-la.

Há mais detalhes no post do blog se você estiver curioso. No geral, acho que a minha maior lição é o quanto você pode realizar com um bom ciclo de feedback e referência.

Eu planeio continuar a experimentar com harnesses, por isso sinta-se à vontade para entrar em contato se tiver um problema interessante com um poderoso ciclo de feedback. cc: @trishume, obrigado por tornar este desafio de código aberto :)