Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jak hałas tworzy porządek: uniwersalna zasada łącząca fizykę i uczenie maszynowe
Hałas zazwyczaj jest wrogiem struktury. Jednak w niektórych systemach—od ścinanych zawiesin koloidalnych po stochastyczne algorytmy optymalizacji—hałaśliwe lokalne interakcje paradoksalnie generują długozasięgowy porządek przestrzenny. Zjawisko to, zwane hiperjednorodnością, tłumi fluktuacje gęstości na dużych skalach, ale jak powstaje z czysto lokalnej, hałaśliwej dynamiki, pozostaje otwartym pytaniem od dwóch dekad.
Satyam Anand, Guanming Zhang i Stefano Martiniani badają trzy paradygmatyczne systemy: losową organizację (RO) i stronniczą losową organizację (BRO) z fizyki materii miękkiej oraz stochastyczny spadek gradientu (SGD) z uczenia maszynowego. Każdy system ma fundamentalnie różne źródła hałasu mikroskopowego—losowe kierunki uderzeń w RO, losowe wielkości uderzeń w BRO oraz losowy wybór cząstek w SGD—jednak wszystkie przechodzą tę samą fazę przejścia od stanu absorpcyjnego do aktywnego w miarę wzrostu gęstości cząstek.
Kluczowe odkrycie: pomimo tych mikroskopowych różnic, wszystkie trzy systemy wykazują identyczne uniwersalne długozasięgowe zachowanie, rządzone przez jeden parametr—współczynnik korelacji hałasu c między parami cząstek. Gdy hałas parowy jest nieskorelowany (c = 0), systemy pozostają nieuporządkowane. Gdy c zbliża się do −1 (antykorelacyjne, zachowujące pęd uderzenia), długość skali przejścia dla tłumienia gęstości diverguje, a systemy stają się silnie hiperjednorodne.
Autorzy opracowują teorię hydrodynamiczną z fluktuacjami, która ilościowo przewiduje czynnik strukturalny we wszystkich systemach bez wolnych parametrów.
Być może najbardziej uderzające jest połączenie z uczeniem maszynowym: ten sam hałas antykorelacyjny, który produkuje hiperjednorodność, również stronniczo kieruje SGD w stronę płaskich obszarów krajobrazu energetycznego—cechy, która jest związana z solidną generalizacją w sieciach neuronowych. Niższe frakcje partii i wyższe współczynniki uczenia, znane empirycznie z poprawy generalizacji, produkują zarówno silniejszą długozasięgową strukturę, jak i płaskie minima w systemach cząstek.
Implikacja jest potężna: tendencja SGD do znajdowania płaskich minimów nie jest dziwactwem krajobrazów strat sieci neuronowych, ale uniwersalnym znakiem rozpoznawczym stochastycznej optymalizacji w przestrzeniach o wysokich wymiarach—otwierając nowe drogi od projektowania hiperjednorodnych materiałów po zrozumienie, dlaczego głębokie uczenie się generalizuje.
Artykuł:

Najlepsze
Ranking
Ulubione
