Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−5,47 %
USELESS
USELESS−2,95 %
IKUN
IKUN+0,1 %
gib
gib−1,59 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−0,45 %
ALON
ALON−1,28 %
LAUNCHCOIN
LAUNCHCOIN−10,26 %
GOONC
GOONC+1,97 %
KLED
KLED−5,99 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,03 %
Boopa
Boopa+5,2 %
PORK
PORK0,00 %
Shuangfei Zhai
Shuangfei Zhai
12. mars, 16:44·
Si hei til Exclusive Self Attention (XSA), en (nesten) gratis forbedring av Transformers for LM. Observasjon: for y = attn(q, k, v), har yi og vi en tendens til å ha svært høy kosinuslikhet Fiks: ekskluder vi fra yi via zi = yi - (yiTvi)vi/‖vi‖² Resultat: bedre trening/verdi-tap på tvers av modellstørrelser; økende gevinster etter hvert som sekvenslengden øker. Se mer: