🚨 NVIDIA только что сделала невозможное. Они обучили языковую модель с 12 миллиардами параметров на 10 триллионах токенов полностью в 4-битной точности. Она называется NVFP4, и она может переопределить, как обучаются передовые модели ИИ. Вот почему это важно: • NVFP4 обеспечивает в 2–3 раза более высокую производительность вычислений и на 50% меньше памяти по сравнению с FP8 • Точность? Практически идентична. (MMLU-Pro: FP8 = 62.62%, NVFP4 = 62.58%) • Проблемы со стабильностью? Решены с помощью случайных преобразований Адамара, стохастического округления и 2D масштабирования • Обучена полностью на графических процессорах NVIDIA Blackwell, первый 4-битный запуск стабилен на 10T токенах Это первая успешная демонстрация крупномасштабного 4-битного предварительного обучения без потери точности. Следующее поколение передовых моделей будет быстрее, дешевле и экологичнее без компромиссов.