Freut mich, KernelFactory zu teilen Ein Werkzeug, das ich gebaut habe, um den Leistungstest zu lösen, der vor ein paar Wochen von @AnthropicAI geteilt wurde.

Kurz gesagt, die Herausforderung bestand darin, einen benutzerdefinierten Kernel zu optimieren, den sie geschrieben haben. Man kann ziemlich weit kommen, wenn man mit Claude Code darüber spricht. Anstatt das zu tun, wollte ich ein Testsystem bauen, um zu sehen, wie weit man ohne menschliches Eingreifen kommen kann.

Es ist eine unterhaltsame Herausforderung, weil sie gut definiert ist und einen klaren Maßstab hat. Und man muss eine neue Reihe von Werkzeugen lernen, wenn man aus dem Loop herauskommen möchte. Ich habe schließlich ein evolutionäres Gestell gebaut, das versucht hat, die Erkundung einer vielfältigen Ideenpalette mit der Nutzung bestehender Ideen in Einklang zu bringen.

Am Ende lieferte das Harness einen 1297-Zyklus-Kernel, der die ursprünglichen Benchmarks, die das Team in ihrem Git-Repo festgelegt hatte, übertrifft. Es fand auch einige interessante Exploits, die dies noch weiter senken würden, wie das Entfernen der Hash-Funktion aus dem Referenzkernel, sodass diese nicht mehr berechnet werden musste.

Es gibt noch mehr Details im Blogbeitrag, falls Sie neugierig sind. Insgesamt denke ich, dass meine größte Erkenntnis ist, wie viel man mit einem guten Feedback-Loop und Benchmark erreichen kann.

Ich plane, weiterhin mit Harnesses zu experimentieren, also zögere nicht, dich zu melden, wenn du ein interessantes Problem mit einem leistungsstarken Feedback-Loop hast.

@trishume danke, dass du dieses Problem Open Source gemacht hast, vielleicht findest du das oben genannte Harness interessant!