熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
You Jiacheng
多麼美麗的理論！
10月1日 09:02
即使在全批次梯度下，深度學習優化器也違背了經典優化理論，因為它們在*穩定性邊緣*運作。
與@alex_damian_一起，我們介紹了「中心流」：一種分析這些動態的理論工具，能對真實神經網絡進行準確的定量預測。
60.38K
K-POP，@basedjensen
2025年9月29日
人們：機器人正在取代人類。
實際上：在一個領先的機器人會議上，機器人舞蹈表演卻連腳趾都不動。
2.59K
順便提一下，他們發布了有關主 MLA 的 FP8 KVCache 的深入分析。
所以，實際上大約是 FP8 稠密 MLA 的 1/5。
2025年9月29日
如預期，NSA 與 MLA 不相容，因此 DeepSeek 選擇了另一種方法：使用較小的 (d=128) 注意力 (不帶值) 作為索引器。
漸進成本比 = 128/576。
此外，索引器使用 FP8，而主 MLA 使用 16 位，因此 = 64/576 = 1/9。
23.62K
熱門
排行
收藏