Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
Ärligt talat, det hade jag inte väntat mig.
Men i efterhand verkar många förändringar överförbara.
2 jan. 05:55
Under de senaste 6 månaderna sjönk NanoGPT:s speedrun till 3,28 på FineWeb med 33 % till 2 minuter. Nyligen kopierades en del av dessa förändringar i bulk till den större förlustspåret på 2,92. Överraskande nog slog den otrimmade yolo-runen förlustrekordet på 2,92 med 25%.
34
HC använder kroneckerfaktoriserade ned-och-upp-projektioner, men det krävs en blandningsoperation H^res.
mHC kräver strategiskt att H^res är dubbelt stokastiska matriser, vilket är en stängning med avseende på matmul.
(ortogonalt kanske också fungerar)
LatentMoE använder hela matriser för ned- och uppprojektioner.
1 jan. 15:08
Intressant. HyperConnection och LatentMoE gör faktiskt liknande saker.
skärmdump tagen från Deepseeks nya artikel (uppladdad av Liang)
CC @teortaxesTex
62
Topp
Rankning
Favoriter