Kuantizasyona duyarlı damıtma (QAD), NVFP4 ile neredeyse BF16 doğruluğu sağlar! Harika bir iş @huizi_mao

🚀 Nemotron-Cascade'i tanıtıyoruz! 🚀 Nemotron-Cascade'i piyasaya sürmekten büyük mutluluk duyuyoruz; bu, zincirli, alan başına pekiştirme öğrenme (Cascade RL) ile eğitilmiş, çok çeşitli ölçütlerde en iyi performansı sunan genel amaçlı akıl yürütme modelleri ailesidir. 💻 Kodlama Güç Merkezi RL'den sonra, 14B modelimiz: • DeepSeek-R1-0528 (671B) LiveCodeBench v5/v6/Pro'da geçiyor. • IOI 2025'te 🥈 gümüş madalya performansı elde eder. • SWE-Bench Doğrulu Sertifikada %43,1 pass@1, test zamanı ölçeklendirmesinde %53,8'e ulaşır. 🧠 Cascade RL nedir? Heterojen istemleri alanlar arasında karıştırmak yerine, Cascade RL alan alan sıralı olarak eğitim verir; bu da mühendislik karmaşıklığını azaltır, heterojen doğrulama gecikmelerini azaltır ve alan spesifik müfredatlar ile özel hiperparametre ayarlamasını mümkün kılar. ✨ Temel içgörüler Hizalama için RLHF'yi ön adım olarak kullanmak, tercih optimizasyonunun çok ötesinde—karmaşık akıl yürütmeyi dramatik şekilde güçlendirir. Sonraki alan bazında RLVR aşamaları, önceki alanlarda elde edilen kıyaslama performansına nadiren zarar verir ve hatta bunu iyileştirebilir; aşağıdaki şekilde gösterilmiştir. 🤗 Modeller ve eğitim verileri 🔥 👉 📄 Detaylı eğitim ve veri tarifleriyle teknik rapor 👉