Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
wat een mooie theorie!
1 okt, 09:02
Zelfs met volledige batchgradiënten tarten DL-optimalisatoren de klassieke optimalisatietheorie, aangezien ze opereren aan de *rand van stabiliteit.*
Samen met @alex_damian_ introduceren we "centrale stromen": een theoretisch hulpmiddel om deze dynamiek te analyseren dat nauwkeurige kwantitatieve voorspellingen doet over echte NN's.
60,39K
K-POP, oblig @basedjensen
29 sep 2025
Mensen: robots vervangen de mensheid.
Echt: robotdansshow op een toonaangevende robotconferentie zonder een teen te bewegen.
2,6K
Trouwens, ze hebben een diepgaande analyse vrijgegeven over FP8 KVCache van de belangrijkste MLA.
Dus, eigenlijk ≈1/5 vergeleken met FP8 dichte MLA.
29 sep 2025
Zoals verwacht is NSA niet compatibel met MLA, dus koos DeepSeek een andere methode: gebruik een kleinere (d=128) aandacht (zonder waarde) als de indexer.
Asymptotische kostenverhouding = 128/576.
Bovendien gebruikt de indexer FP8 terwijl de hoofd-MLA 16-bits gebruikt, dus = 64/576 = 1/9.
23,63K
Boven
Positie
Favorieten