Freut mich, KernelFactory zu teilen! Ein Werkzeug, das ich gebaut habe, um den Leistungstest zu lösen, der vor ein paar Wochen von @AnthropicAI geteilt wurde.

Kurz gesagt, die Herausforderung bestand darin, einen benutzerdefinierten Kernel zu optimieren, den sie geschrieben haben. Man kann ziemlich weit kommen, wenn man mit Claude Code darüber spricht. Anstatt das zu tun, wollte ich ein System entwickeln, um zu sehen, wie weit man ohne menschliches Eingreifen kommen kann.

Es ist eine unterhaltsame Herausforderung. Sie ist gut umrissen und hat einen klaren Maßstab. Und du musst eine neue Reihe von Werkzeugen lernen, wenn du aus dem Kreislauf herauskommen möchtest. Ich habe letztendlich ein evolutionäres Gestell gebaut, das versucht hat, die Erkundung einer vielfältigen Ideenpalette mit der Nutzung bestehender Ideen in Einklang zu bringen.

Am Ende lieferte das Harness einen 1297-Zyklus-Kernel, der die ursprünglichen Benchmarks, die das Team in ihrem Git-Repo festgelegt hatte, übertrifft. Ich habe es zu diesem Zeitpunkt etwas willkürlich gestoppt, aber es könnte mit mehr Rechenleistung eine bessere Leistung erbringen. Es fand auch einige interessante Exploits, die dies noch weiter senken würden, wie das Entfernen der Hash-Funktion aus dem Referenzkernel, sodass sie nicht berechnet werden musste.

Es gibt noch mehr Details im Blogbeitrag, falls Sie neugierig sind. Insgesamt denke ich, dass meine größte Erkenntnis ist, wie viel man mit einem guten Feedback-Loop und Benchmark erreichen kann.

Ich plane, weiterhin mit Harnesses zu experimentieren, also zögere nicht, dich zu melden, wenn du ein interessantes Problem mit einem leistungsstarken Feedback-Loop hast. cc: @trishume, danke, dass du diese Herausforderung Open Source gemacht hast :)