"Kullbackova geometrie" označuje geometrický pohled postavený na Kullback–Leiblerově divergenci (KL), který měří, jak se jedno pravděpodobnostní rozdělení liší od druhého. Místo toho, aby se pravděpodobnosti považovaly za jednoduchá čísla, tato geometrie považuje rodiny rozdělení za zakřivené prostory, kde je vzdálenost definována ztrátou informací. V teorii pravděpodobnosti se KL divergence a její geometrie používají ke studiu konvergence, velkých odchylek a optimálních aproximací mezi náhodnými modely. Ve strojovém učení leží Kullbackova geometrie jádrem variační inference, očekávání-maximalizace a moderních generativních modelů, kde učení znamená pohyb modelu tímto informačním prostorem, aby se přiblížil k datovému rozdělení. V reálném životě se objevuje v kompresi dat, zpracování signálu a rozhodování, kde minimalizace KL divergence znamená použití modelů, které při reprezentaci nejisté reality plýtvají co nejmenším množstvím informací. Obrázek: