Dopo aver visto che le sfere unità ad alta dimensione nascondono quasi tutto il loro volume in un sottile strato, ecco un seguito ancora più folle: Un Gaussian ad alta dimensione non è una campana accogliente con la massa abbracciata al picco, è fondamentalmente vuoto al centro, con quasi tutta la probabilità che vive in un sottile alone sulla pendenza a una distanza di circa "radice quadrata della dimensione" dall'origine. Ciò significa che un'estrazione "tipica" da un Gaussian a cento dimensioni non è affatto vicina alla media! 🤯 Si trova su questo anello dove la densità è più bassa ma il volume è enorme. Interpretato nella vita reale, questo è enorme: quando inizializzi una grande rete neurale con pesi Gaussian, la maggior parte delle reti che ottieni ha all'incirca la stessa norma di peso complessiva, tutte sedute su questo strato, quindi l'addestramento avviene su un sottile anello di energia piuttosto che vicino a zero. #HighDimensionalSpace #MachineLearning #Gaussian

Nel post precedente abbiamo visto che, in alte dimensioni, quasi tutto il volume di una sfera unitaria si trova in un guscio sottilissimo vicino al confine. Ma c'è un'altra sorpresa! 😄 La maggior parte dei punti si trova anche in una stretta lastra centrale attorno a qualsiasi direzione fissa. Quindi un punto "tipico" è lontano dall'origine in termini di distanza complessiva, ma la sua coordinata lungo qualsiasi asse dato è piccola. I punti ad alta dimensione sono sia "sulla superficie" che "vicino all'equatore", ed è per questo che i vettori casuali sono quasi ortogonali negli spazi di machine learning ad alta dimensione. 🤯 Grazie a @mutko55 per avermi ricordato questo. #HighDimensionalSpace #MachineLearning

Questa è una delle cose più strane che abbia mai imparato.🤨😦🤯 Siamo stati così condizionati a pensare in 1, 2 e 3 dimensioni che la nostra intuizione vive fondamentalmente lì, ma una volta che entri in spazi ad alta dimensione, anche qualcosa di così basilare come la distanza inizia a comportarsi in un modo che sembra sbagliato. In una sfera ad alta dimensione, quasi tutto il volume vive in un sottile strato vicino al confine... riduci il raggio solo di un piccolo po' e hai buttato via quasi tutto, quindi i punti casuali non si trovano affatto in mezzo, sono schiacciati in un alone microscopico al bordo. Questa è una delle ragioni per cui la distanza, i vicini più prossimi e l'intuizione geometrica iniziano a comportarsi in modo così strano negli spazi di Machine Learning ad alta dimensione. La geometria ad alta dimensione ti sta silenziosamente dicendo che il tuo cervello a bassa dimensione ti sta mentendo. 🤯 #HighDimensionalSpace #MachineLearning