Một lý do thuyết phục cho việc tại sao Adam vượt trội hơn SGD là Adam hoạt động tốt hơn trong việc tối ưu hóa các tổn thất của các lớp hiếm. Điều này có phần bất ngờ, sự cải thiện của Muon dường như là do Muon tối ưu hóa phần đuôi thậm chí còn tốt hơn Adam. Tất cả đều liên quan đến phần đuôi nặng.