Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ik hou van het contextbewuste gating ontwerp van Engram. De symmetrie is prachtig.
Het is een mengsel van embeddings waarbij routers ook embeddings zijn.
Reguliere MoE is "mengsel van FFN's waarbij routers ook FFN's zijn" maar KeyFFN's zijn alleen bias.
k_i=KeyFFN_i(x)
v_i=ValFFN_i(x)
o=sum_i σ(q·k_i)v_i
Boven
Positie
Favorieten