Після того, як я побачив, що кулі високорозмірних одиниць ховають майже весь свій об'єм у тонкій оболонці, ось ще більш божевільне продовження: Високовимірний гаусівський дзвін — це не затишний дзвін із масою, притиснутою до вершини, він фактично порожній у центрі, і майже вся ймовірність живе у тонкому ореолі на схилі на відстані приблизно «квадратного кореня розмірності» від початку координат. Це означає, що «типовий» малюнок зі стовимірного гаусівського діапазону — це зовсім не середнє значення! 🤯 Він розташований на цьому кільці, де щільність менша, але об'єм величезний. У реальному житті це дуже важливо: коли ви ініціалізуєте велику нейронну мережу за допомогою гаусових ваг, більшість мереж, які ви отримуєте, мають приблизно однакову загальну норму ваги, всі знаходяться на цій оболонці, тому тренування відбувається на тонкому енергетичному кільці, а не майже на нулі. #HighDimensionalSpace #MachineLearning #Gaussian