Yeni Açık Kaynak Grok 2.5 üzerinde çalışıyor! Zaten Hot Rod yapabildik! Henüz ilk günler ve başarısız olabilir, ancak elimizdeki şey şu: 268B MoE, 131k bağlam, 8 uzman, RoPE, 8 KV kafalı 64 GQA dikkat başlığı, 64 katman. Normalde herhangi bir anda sadece 2 uzman aktiftir. Sadece küçük bir performans düşüşü, yaklaşık 1/3 daha fazla GPU belleği ve kalite çıktılarında şaşırtıcı bir artışla 4'ü aynı anda etkinleştirmenin bir yolunu bulduk! Testlerimizi sürdürürse, nasıl yapılır ayrıntılı bir şekilde yayınlayacağım!