热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲

Christian Szegedy
#deeplearning,#ai 研究科学家。意见是我的。
Christian Szegedy 已转发
BatchNorm 在 #ICML2025 上获得了终身成就奖! 🎉
BatchNorm 通过解决内部协变量偏移问题,彻底改变了深度学习,这种问题会减缓学习速度,限制学习率,并使训练深度网络变得困难。
通过对每个小批量内的输入进行归一化,BatchNorm 显著稳定并加速了训练。它使得更高的学习率成为可能,改善了梯度流,并为像 ResNet 这样更深的架构铺平了道路。
除了减少内部协变量偏移,BatchNorm 还平滑了优化景观并改善了模型的泛化能力,使其成为现代神经网络训练的基石。
非常值得,@Sergey_xai 和 @ChrSzegedy!

9.71K
一个西瓜大小的樱桃在顶部 :)

Shane Gu7月11日 06:22
2023: at OpenAI, some key figs in post-training were against scaling RL.
2022: Eric/Yuhuai (now xAI) wrote STaR and I wrote "LLM can self-improve". It was clear that RL on clean signals unlocks the next leap.
Pre/post-training divide may have been a big slowdown to AI.

13.56K
热门
排行
收藏
链上热点
X 热门榜
近期融资
最受认可