熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁

Christian Szegedy
#deeplearning,#ai 研究科學家。意見是我的。
Christian Szegedy 已轉發
BatchNorm 在 #ICML2025 獲得了時代考驗獎! 🎉
BatchNorm 通過解決內部協變量偏移,徹底改變了深度學習,這種偏移會減慢學習速度,限制學習率,並使訓練深度網絡變得困難。
通過在每個小批量內對輸入進行正規化,BatchNorm 顯著穩定並加速了訓練。它使得更高的學習率成為可能,改善了梯度流,並為像 ResNet 這樣的更深層架構鋪平了道路。
除了減少內部協變量偏移外,BatchNorm 還平滑了優化景觀並改善了模型的泛化能力,使其成為現代神經網絡訓練的基石。
非常值得,@Sergey_xai 和 @ChrSzegedy!

9.71K
一顆西瓜大小的櫻桃在上面 :)

Shane Gu7月11日 06:22
2023: at OpenAI, some key figs in post-training were against scaling RL.
2022: Eric/Yuhuai (now xAI) wrote STaR and I wrote "LLM can self-improve". It was clear that RL on clean signals unlocks the next leap.
Pre/post-training divide may have been a big slowdown to AI.

13.56K
熱門
排行
收藏
鏈上熱點
X 熱門榜
近期融資
最受認可