Setelah melihat bahwa bola unit dimensi tinggi menyembunyikan hampir semua volumenya dalam cangkang tipis, berikut adalah sekuel yang lebih gila: Gaussian berdimensi tinggi bukanlah lonceng yang nyaman dengan massa yang dipeluk di puncak, pada dasarnya kosong di tengah, dengan hampir semua kemungkinan hidup di lingkaran tipis di lereng pada jarak sekitar "akar kuadrat dimensi" dari asalnya. Itu berarti gambar "khas" dari Gaussian seratus dimensi tidak mendekati rata-rata! 🤯 Itu duduk di anulus ini di mana kepadatannya lebih rendah tetapi volumenya sangat besar. Ditafsirkan dalam kehidupan nyata, itu sangat besar: ketika Anda menginisialisasi jaringan saraf besar dengan bobot Gaussian, sebagian besar jaringan yang Anda dapatkan memiliki norma berat keseluruhan yang kira-kira sama, semuanya duduk di cangkang ini, jadi pelatihan terjadi pada cincin energi tipis daripada mendekati nol. #HighDimensionalSpace #MachineLearning #Gaussian