La "geometria di Kullback" si riferisce al punto di vista geometrico costruito attorno alla divergenza di Kullback–Leibler (KL), che misura come una distribuzione di probabilità differisca da un'altra. Invece di trattare le probabilità come semplici numeri, questa geometria considera famiglie di distribuzioni come spazi curvi in cui la distanza è definita dalla perdita di informazione. Nella teoria della probabilità, la divergenza KL e la sua geometria sono utilizzate per studiare la convergenza, le grandi deviazioni e le approssimazioni ottimali tra modelli casuali. Nell'apprendimento automatico, la geometria di Kullback è al centro dell'inferenza variazionale, dell'aspettativa–massimizzazione e dei modelli generativi moderni, dove apprendere significa muovere un modello attraverso questo spazio informativo per avvicinarsi alla distribuzione dei dati. Nella vita reale, appare nella compressione dei dati, nell'elaborazione dei segnali e nel processo decisionale, dove minimizzare la divergenza KL significa utilizzare modelli che sprecano il minor numero possibile di informazioni quando rappresentano una realtà incerta. Immagine: