Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
Чесно кажучи, не очікував такого.
Але, озираючись назад, багато змін виглядають переносними.
2 січ., 05:55
За останні 6 місяців втрата NanoGPT Speedrun до 3.28 на FineWeb впала на 33% до 2 хвилин. Нещодавно частина цих змін була масово скопійована на більший трек втрат 2.92. Дивно, але неналаштований Yolo Run побив рекорд поразок у 2,92 на 25%.
65
HC використовує факторизовані проекції вниз і вгору за Кронекером, але для цього потрібна операція змішування H^res.
mHC стратегічно вимагає, щоб H^res були подвійно стохастичними матрицями, що є замиканням у матмулі з .р.т.
(ортогональна теж, можливо, теж працює)
LatentMoE використовує повні матриці для прогнозів вниз і вгору.
1 січ., 15:08
Цікаво. HyperConnection і LatentMoE насправді роблять схожі речі.
скріншот із нової статті Діпсік (завантажено Ліангом)
CC @teortaxesTex
79
Найкращі
Рейтинг
Вибране