Transformer ve LLM'lerde Uzmanların Karışımı, görsel olarak açıklandı! Uzmanların Karışımı (MoE), farklı uzmanların Transformatör modellerini geliştirmek için kullandığı popüler bir mimaridir. Transformer ve MoE, dekoder bloğunda farklılık gösterir: - Transformer, ileriye besleme ağı kullanır. - MoE, Transformer'a kıyasla daha küçük olan ve yönlendirilen ağlar olan uzmanları kullanır. Çıkarım sırasında, uzmanların bir alt kümesi seçilir. Bu, MoE'de çıkarımı hızlandırır. Ayrıca, ağda birden fazla kod çözücü katmanı olduğu için: - Metin, katmanlar arasında farklı uzmanlardan geçer. - Seçilen uzmanlar da jetonlar arasında farklılık gösterir. Peki model hangi uzmanların ideal olması gerektiğine nasıl karar veriyor? Yönlendirici bunu yapıyor. Bu, en iyi K uzmanlarını seçmek için uzmanlar üzerinde softmax puanları üreten çok sınıflı bir sınıflandırıcıdır. Yönlendirici ağla eğitilir ve en iyi uzmanları seçmeyi öğrenir. Ama bu basit değil. Zorluklar var! Meydan okuma 1) Eğitimin başında şu kalıbı fark edin: ...