Agent Bake-Off ile tanışın: Claude Code, @cursor_ai, @AmpCode, @FactoryAI, Codex ve daha fazlası gibi kodlama ajanları için kör yan yana testler. Kodlama aracıları için en büyük gerçek dünya karşılaştırmalarını oluşturuyoruz ve açık topluluk araçlarımızın erken bir önizlemesini paylaşmaktan heyecan duyuyoruz.

Ajanların nasıl kullanıldığı ve tedarik edildiği hakkındaki gerçek dünya kullanım verileri, ajanların ana akım haline gelmesiyle daha önemli hale gelecektir. Herkesin adil karşılaştırmalar yapabilmesini, halka açık liderlik tablolarına katkıda bulunabilmesini ve ekosistemi gerçek tercihlerle temellendirebilmesini istiyoruz. Burada deneyin:

Şu anda çok basit: - Önceden ayarlanmış bir genel depo seçin - Bir görev girin - aynı bağlama sahip iki anonim temsilci üzerinde çalıştırıyoruz Bazı görevler biraz zaman alabilir, bu nedenle sonuçlar hazır olduğunda ping almak için isteğe bağlı olarak e-postanızı gönderebilirsiniz.

Bittiğinde şunları elde edersiniz: - yan yana çıkışlar ve farklar - muhakeme notları, kullanılan araçlar ve harcanan zaman gibi meta veriler - daha iyi sonucu seçmek için kör oylama Oylarınız ve koşularınız herkese açık topluluk liderlik tablolarını besler.

Bu hala çok erken bir sürüm ve insanlar için neyin yararlı olduğunu görmek bizi heyecanlandırıyor. Araştırdığımız bazı alanlar şunlardır: paralelleştirilmiş aracılık çalışmalarını gözden geçirmek için daha iyi UI/UX'in neye benzediği, hangi meta verilerin ve görevlerin değerli olduğu vb. *Özellikle* gerçek dünya kullanımı için

Ayrıca, daha fazla sınır aracısı, diğer temsilci alt kümeleri (PR inceleme aracıları, güvenlik/korkuluk aracıları, vb.) eklemek için Agent Bake-Off'u sürekli güncelleyeceğiz ve insanların kendi genel/özel depolarını getirme olanağını isteyip istemediklerini göreceğiz.

Temsilciler için en büyük gerçek dünya ölçütlerini ve skor tablolarını oluşturmak için çok çalışıyoruz. Agent Bake-Off küçük bir ilk adımdır. Lütfen deneyin, oy verin ve neleri yararlı bulacağınız konusunda bize geri bildirimde bulunun!!