Dopo aver visto che le sfere unità ad alta dimensione nascondono quasi tutto il loro volume in un sottile strato, ecco un seguito ancora più folle: Un Gaussian ad alta dimensione non è una campana accogliente con la massa abbracciata al picco, è fondamentalmente vuoto al centro, con quasi tutta la probabilità che vive in un sottile alone sulla pendenza a una distanza di circa "radice quadrata della dimensione" dall'origine. Ciò significa che un'estrazione "tipica" da un Gaussian a cento dimensioni non è affatto vicina alla media! 🤯 Si trova su questo anello dove la densità è più bassa ma il volume è enorme. Interpretato nella vita reale, questo è enorme: quando inizializzi una grande rete neurale con pesi Gaussian, la maggior parte delle reti che ottieni ha all'incirca la stessa norma di peso complessiva, tutte sedute su questo strato, quindi l'addestramento avviene su un sottile anello di energia piuttosto che vicino a zero. #HighDimensionalSpace #MachineLearning #Gaussian