Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico+1,06 %
USELESS
USELESS−11,67 %
IKUN
IKUN−15,49 %
gib
gib−3,43 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−1,26 %
ALON
ALON+3,46 %
LAUNCHCOIN
LAUNCHCOIN−3,32 %
GOONC
GOONC+4,65 %
KLED
KLED−14,04 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,18 %
Boopa
Boopa−7,92 %
PORK
PORK−3,82 %
You Jiacheng
You Jiacheng
13. jan., 08:18·
Jeg elsker Engrams kontekstbevisste portdesign. Symmetrien er vakker. Det er en blanding av embeddings hvor rutere også er embeddings. Vanlig MoE er «en blanding av FFN-er hvor rutere også er FFN-er», men KeyFFN-er er kun bias. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i