KernelFactoryの共有を喜んでします 数週間前に私が作ったパフォーマンスの持ち帰りテストを解くために作ったハーネス@AnthropicAI

要するに、課題は彼らが書いたカスタムカーネルを最適化することでした。Claude Codeに話すとかなり進めます。 代わりに、人間がいない状態でどこまで行けるか試すためのハーネスを作りたかったのです。

これは、スコープがよく設定されていて、明確な基準があるので楽しいチャレンジです。そして、もしループから抜け出したいなら、新しいツールを学ぶ必要があります。 多様なアイデアの探求と既存のアイデアの活用をバランスよく考える進化的なハーネスを作りました。

最終的にハーネスは1297サイクルのカーネルを提供し、チームがgitリポジトリで設定した初期のベンチマークを上回るものでした。 さらに、リファレンスカーネルからハッシュ関数を削除して計算しなくて済むなど、さらに低くする面白いエクスプロイトも見つけました。

興味があればブログ記事にもう少し詳しい情報があります。全体として、私が一番学んだのは、良いフィードバックループとベンチマークがあれば、どれだけ多くのことが成し遂げられるかということです。

ハーネスの調整を続けるつもりなので、強力なフィードバックループに関する興味深い問題があれば遠慮なく連絡してください。

この問題をオープンソース化してくれてありがとうございます。上記のハーネスも興味深いかもしれません!@trishume