熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
噪音如何創造秩序:連結物理學與機器學習的普遍原則
噪音通常是結構的敵人。然而在某些系統中——從剪切膠體懸浮液到隨機優化算法——嘈雜的局部互動矛盾地產生了長程空間秩序。這一現象稱為超均勻性,抑制了大尺度的密度波動,但它如何從純粹的局部、嘈雜的動力學中產生,已經是一個懸而未決的問題達二十年之久。
Satyam Anand、Guanming Zhang 和 Stefano Martiniani 研究了三個典型系統:來自軟物質物理學的隨機組織(RO)和偏置隨機組織(BRO),以及來自機器學習的隨機梯度下降(SGD)。每個系統都有根本不同的微觀噪音來源——RO 中的隨機踢擊方向、BRO 中的隨機踢擊幅度,以及 SGD 中的隨機粒子選擇——但隨著粒子密度的增加,所有系統都經歷了相同的吸收到活躍的相變。
關鍵發現:儘管這些微觀差異,所有三個系統顯示出相同的普遍長程行為,受一個單一參數控制——粒子對之間的噪音相關係數 c。當成對噪音不相關(c = 0)時,系統保持無序。當 c 接近 -1(反相關、動量守恆的踢擊)時,密度抑制的交叉長度尺度發散,系統變得強烈超均勻。
作者們發展了一種波動流體動力學理論,定量預測所有系統的結構因子,且無自由參數。
或許最引人注目的是與機器學習的聯繫:產生超均勻性的相同反相關噪音也使 SGD 偏向能量景觀的平坦區域——這一特徵與神經網絡中的穩健泛化有關。已知經驗上能改善泛化的較低批次比例和較高學習率,會在粒子系統中產生更強的長程結構和更平坦的最小值。
這一含義是強大的:SGD 尋找平坦最小值的傾向並不是神經網絡損失景觀的特異性,而是高維空間中隨機優化的普遍特徵——為設計超均勻材料和理解為何深度學習能泛化開啟了新的途徑。
論文:

熱門
排行
收藏
