Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-20,41 %
USELESS
USELESS-6,06 %
IKUN
IKUN-14 %
gib
gib-4,14 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-5,48 %
ALON
ALON+3,22 %
LAUNCHCOIN
LAUNCHCOIN-3,53 %
GOONC
GOONC-4,03 %
KLED
KLED+0,93 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP-0,98 %
Boopa
Boopa-8,91 %
PORK
PORK0,00 %
header
Larry Dial
Datový inženýr v AWS. a výzkum AI.
Larry Dial
Larry Dial8. 1. 02:06
Nový NanoGPT Speedrun WR na 109,2 (-3,5s) s dalším novým(?) vylepšením attn nazvaným Pair Head Attention. Dotazy mohou zaměřit klíče v sousední hlavě, což umožňuje každému Q získat 2 hodnoty na cílovou pozici místo 1. 3% dopad při nulových parametrech!
15
Larry Dial
Larry Dial6. 1. 03:38
Nový NanoGPT Speedrun WR na 112,7 (-1,0s), s váhami v bfloat16 plus extra 16 bity v optimalizátoru a prokládané komunikaci. Inspirace z @YouJiacheng a @ChrisJMcCormick. Také Adamův opt, který se pohybuje polovinou času než Muon, má lm_head beta1=0,5.
17
Larry Dial
Larry Dial5. 1. 02:30
Nový NanoGPT Speedrun WR na 113,7 (-1,4 s) z @ChrisJMcCormick, s parambankou pro centralizaci určitých parametrů na vrstvě, optimalizovaným Adamem, zvýšením přesnosti EMA bufferu a hradlovými maticemi z Muonu do Adamu. Vědci tvrdí, že záznamy musí přestat po dosažení nul.
16