Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
Яка прекрасна теорія!
1 жовт., 09:02
Навіть при повній партії градієнтів, оптимізатори DL кидають виклик класичній теорії оптимізації, оскільки вони працюють на межі стабільності.*
З @alex_damian_ ми вводимо «центральні потоки»: теоретичний інструмент для аналізу цієї динаміки, який робить точні кількісні прогнози на реальних NN.
60,38K
K-POP, зобов'язання @basedjensen
29 вер. 2025 р.
Люди: на зміну людству приходять роботи.
Реальне: танцювальне шоу роботів на провідній роботизованій конференції без руху пальцем ноги.
2,59K
До речі, вони випустили глибоке занурення на FP8 KVCache основного MLA.
отже, фактично ≈1/5 у порівнянні з FP8 щільним MLA.
29 вер. 2025 р.
Як і очікувалося, NSA несумісний з MLA, тому DeepSeek обрав інший метод: використовувати меншу (d=128) увагу (без значення) як індексатор.
Асимптотичний коефіцієнт вартості = 128/576.
Крім того, індексатор використовує FP8, тоді як основний MLA використовує 16-біт, тому = 64/576 = 1/9.
23,62K
Найкращі
Рейтинг
Вибране