Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Nysgjerrig på å prøve dette med diloco, ville fortsatt gjøre bs=1 på den indre optimalisereren og fortsatt få fordeler av dataparallellitet

10. juli, 22:12
🚨 Visste du at small-batch vanilla SGD uten momentum (dvs. den første optimalisereren du lærer om i intro ML) er praktisk talt like rask som AdamW for LLM-pretraining på per-FLOP-basis? 📜 1/n

1,91K
Topp
Rangering
Favoritter