Nimeni nu a înțeles bine. Ce s-a întâmplat de fapt a fost că anterior greutățile master erau în BF16 și astfel gradientele pentru 60% din parametrii LORA erau mai mici decât pentru ULP