„Geometria Kullbacka” odnosi się do punktu widzenia geometrycznego opartego na rozbieżności Kullbacka–Leiblera (KL), która mierzy, jak jedna rozkład prawdopodobieństwa różni się od innego. Zamiast traktować prawdopodobieństwa jako proste liczby, ta geometria traktuje rodziny rozkładów jako zakrzywione przestrzenie, w których odległość definiowana jest przez utratę informacji. W teorii prawdopodobieństwa rozbieżność KL i jej geometria są używane do badania zbieżności, dużych odchyleń i optymalnych przybliżeń między modelami losowymi. W uczeniu maszynowym geometria Kullbacka leży u podstaw wnioskowania wariacyjnego, maksymalizacji oczekiwań oraz nowoczesnych modeli generatywnych, gdzie uczenie oznacza poruszanie modelem przez tę przestrzeń informacyjną, aby zbliżyć się do rozkładu danych. W życiu codziennym pojawia się w kompresji danych, przetwarzaniu sygnałów i podejmowaniu decyzji, gdzie minimalizowanie rozbieżności KL oznacza używanie modeli, które marnują jak najmniej informacji podczas reprezentowania niepewnej rzeczywistości. Obraz: