«Геометрія Кульбака» означає геометричну точку зору, побудовану навколо розбіжності Кульбека–Лейблера (KL), яка вимірює, чим один розподіл ймовірностей відрізняється від іншого. Замість того, щоб розглядати ймовірності як прості числа, ця геометрія розглядає сімейства розподілів як криві простори, де відстань визначається втратою інформації. У теорії ймовірностей дивергенція KL та її геометрія використовуються для вивчення збіжності, великих відхилень і оптимальних наближень між випадковими моделями. У машинному навчанні геометрія Кульбека лежить в основі варіаційного висновку, максимізації очікувань і максимізації та сучасних генеративних моделей, де навчання означає переміщення моделі через цей інформаційний простір для наближення до розподілу даних. У реальному житті він з'являється у стисненні даних, обробці сигналів і прийнятті рішень, де мінімізація розхилення KL означає використання моделей, які витрачають якомога менше інформації при представленні невизначеної реальності. Зображення: