"Geometria Kullback" se referă la punctul de vedere geometric construit în jurul divergenței Kullback–Leibler (KL), care măsoară modul în care o distribuție de probabilitate diferă de alta. În loc să trateze probabilitățile ca numere simple, această geometrie tratează familiile de distribuții ca spații curbate unde distanța este definită de pierderea informației. În teoria probabilităților, divergența KL și geometria sa sunt folosite pentru a studia convergența, abaterile mari și aproximările optime între modele aleatoare. În învățarea automată, geometria Kullback se află în centrul inferenței variaționale, al maximizării așteptării și modelelor generative moderne, unde învățarea înseamnă mutarea unui model prin acest spațiu informațional pentru a se apropia de distribuția datelor. În viața reală, apare în compresia datelor, procesarea semnalelor și luarea deciziilor, unde minimizarea divergenței KL înseamnă utilizarea modelelor care irosesc cât mai puține informații posibil atunci când reprezintă realitatea incertă. Imagine: