„Kullback-Geometrie“ bezieht sich auf den geometrischen Blickwinkel, der um die Kullback-Leibler (KL) Divergenz aufgebaut ist, die misst, wie sich eine Wahrscheinlichkeitsverteilung von einer anderen unterscheidet. Anstatt Wahrscheinlichkeiten als einfache Zahlen zu behandeln, betrachtet diese Geometrie Familien von Verteilungen als gekrümmte Räume, in denen der Abstand durch Informationsverlust definiert ist. In der Wahrscheinlichkeitstheorie werden KL-Divergenz und ihre Geometrie verwendet, um Konvergenz, große Abweichungen und optimale Approximationen zwischen zufälligen Modellen zu untersuchen. In der maschinellen Lernens liegt die Kullback-Geometrie im Herzen der variationalen Inferenz, der Erwartungsmaximierung und modernen generativen Modellen, wo Lernen bedeutet, ein Modell durch diesen Informationsraum zu bewegen, um näher an die Datenverteilung zu gelangen. Im wirklichen Leben erscheint sie in der Datenkompression, der Signalverarbeitung und der Entscheidungsfindung, wo die Minimierung der KL-Divergenz bedeutet, Modelle zu verwenden, die so wenig Informationen wie möglich verschwenden, wenn sie die unsichere Realität darstellen.