Po tom, co jsme viděli, že vysokodimenzionální jednotkové koule skrývají téměř veškerý svůj objem v tenké skořápce, tady je ještě šílenější pokračování: Vysokorozměrný Gaussovský systém není útulný zvon s hmotou přitulenou k vrcholu, je v podstatě prázdný uprostřed, přičemž téměř veškerá pravděpodobnost žije v tenkém halo na svahu ve vzdálenosti přibližně "druhé odmocniny z rozměru" od počátku. To znamená, že "typický" tah ze storozměrného Gaussovy hodnoty není ani zdaleka průměrem! 🤯 Leží na tomto prstenci, kde je hustota nižší, ale objem obrovský. V reálném životě je to obrovské: když inicializujete velkou neuronovou síť s Gaussovými váhami, většina sítí má přibližně stejnou celkovou hmotnostní normu, všechny sedí na tomto obalu, takže trénink probíhá na tenkém energetickém kruhu, ne téměř nule. #HighDimensionalSpace #MachineLearning #Gaussian

V předchozím příspěvku jsme viděli, že ve vysokých rozměrech téměř veškerý objem jednotkové koule žije v tenké skořápce blízko hranice. Ale je tu ještě jeden zvrat! 😄 Většina hrotů také leží v úzké centrální desce kolem libovolného pevného směru. Takže "typický" bod je z hlediska celkové vzdálenosti daleko od počátku, ale jeho souřadnice podél dané osy je malá. Vysokorozměrné body jsou jak "na povrchu", tak "blízko rovníku", což je důvod, proč jsou náhodné vektory téměř ortogonální v prostorech strojového učení s vysokou dimenzí. 🤯 Díky @mutko55, že mi to připomněla. #HighDimensionalSpace #MachineLearning

Tohle je jedna z nejpodivnější věcí, co jsem se kdy naučil 🤨😦🤯. Byli jsme tak naučeni myslet v 1, 2 a 3 dimenzích, že tam v podstatě žije naše intuice, ale jakmile vstoupíte do vyšších dimenzí, i něco tak základního jako vzdálenost se začne chovat způsobem, který působí špatně. V vysokorozměrné kouli téměř veškerý objem žije v tenké skořápce blízko hranice... Stačí trochu zmenšit poloměr a vyhodíte téměř všechno, takže náhodné body vůbec nesedí uprostřed, ale jsou rozmačkané do mikroskopické svatozáře na okraji. To je jeden z důvodů, proč vzdálenost, nejbližší sousedé a geometrická intuice začínají v prostorech strojového učení s vysokým rozměrem fungovat tak divně. Vysokorozměrná geometrie vám tiše říká, že vám váš nízkorozměrný mozek lže. 🤯 #HighDimensionalSpace #MachineLearning