En övertygande förklaring till varför Adam slår SGD är att Adam är bättre på att optimera förlusterna av sällsynta klasser. Något överraskande verkar förbättringen av Muon bero på att Muon optimerar svansen ännu bättre än Adam. Allt handlar om den tunga svansen.