Heureux de partager KernelFactory Un harnais que j'ai construit pour résoudre le test de performance à emporter partagé par @AnthropicAI il y a quelques semaines.

En résumé, le défi était d'optimiser un noyau personnalisé qu'ils avaient écrit. Vous pouvez aller assez loin en parlant à Claude Code à ce sujet. Au lieu de cela, je voulais construire un harnais pour voir jusqu'où vous pourriez aller sans intervention humaine.

C'est un défi amusant car il est bien défini et a un repère clair. Et vous devez apprendre un nouvel ensemble d'outils si vous voulez sortir de la boucle. J'ai fini par construire un harnais évolutif qui essayait d'équilibrer l'exploration d'un ensemble diversifié d'idées et l'utilisation de celles existantes.

Au final, le harnais a délivré un noyau de cycle 1297, ce qui dépasse les benchmarks initiaux établis par l'équipe dans leur dépôt git. Il a également trouvé quelques exploits amusants qui pourraient faire baisser ce chiffre encore plus, comme supprimer la fonction de hachage du noyau de référence afin qu'il n'ait pas besoin de la calculer.

Il y a plus de détails dans l'article de blog si cela vous intéresse. En tout, je pense que ma plus grande leçon est à quel point vous pouvez accomplir beaucoup avec une bonne boucle de rétroaction et des repères.

Je prévois de continuer à bricoler avec des harnais, donc n'hésitez pas à me contacter si vous avez un problème intéressant avec une boucle de rétroaction puissante.

@trishume merci d'avoir rendu ce problème open source, tu pourrais trouver le harnais ci-dessus intéressant !