Sau khi thấy rằng các quả cầu đơn vị nhiều chiều ẩn hầu như toàn bộ thể tích của chúng trong một lớp mỏng, đây là một phần tiếp theo điên rồ hơn: Một phân phối Gaussian nhiều chiều không phải là một chiếc chuông ấm áp với khối lượng được ôm ấp ở đỉnh, mà về cơ bản là trống rỗng ở giữa, với hầu như toàn bộ xác suất sống trong một vầng hào quang mỏng ở trên sườn cách gốc khoảng "căn bậc hai của chiều". Điều đó có nghĩa là một mẫu "điển hình" từ một phân phối Gaussian trăm chiều không ở gần trung bình! 🤯 Nó nằm trên vòng đai này nơi mà mật độ thấp hơn nhưng thể tích thì khổng lồ. Được hiểu trong đời thực, điều đó thật lớn: khi bạn khởi tạo một mạng nơ-ron lớn với trọng số Gaussian, hầu hết các mạng bạn nhận được có độ chuẩn trọng số tổng thể tương tự nhau, tất cả đều nằm trên lớp này, vì vậy việc huấn luyện diễn ra trên một vòng năng lượng mỏng thay vì gần bằng không. #HighDimensionalSpace #MachineLearning #Gaussian