NVIDIA только что выпустила потрясающую статью о том, как они сжали модель с 16 бит до 4 бит и смогли сохранить 99,4% точности, что в основном является безубыточным. Это обязательно к прочтению. Ссылка ниже.