Vaknade upp till att en ny PR för mig slogs ihop med Torchtitan. Den åtgärdar en instabilitet i facklan trunc_normal_ för bf16 som snedvridit vikterna vid initialisering, vilket leder till stora aktiveringar och instabil träning.