Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−11,56 %
USELESS
USELESS−6,04 %
IKUN
IKUN−12,86 %
gib
gib−2,34 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−1,24 %
ALON
ALON+5,92 %
LAUNCHCOIN
LAUNCHCOIN−20,04 %
GOONC
GOONC+1 %
KLED
KLED+6,92 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,36 %
Boopa
Boopa−2,89 %
PORK
PORK−4,43 %
You Jiacheng
You Jiacheng
13 jan. 08:18·
Jag älskar Engrams kontextmedvetna grinddesign. Dess symmetri är vacker. Det är en blandning av embeddings där routers också är embeddings. Vanlig MoE är "en blandning av FFN:er där routrar också är FFN:er" men KeyFFN:er är endast bias. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i