La "géométrie de Kullback" fait référence au point de vue géométrique construit autour de la divergence de Kullback–Leibler (KL), qui mesure comment une distribution de probabilité diffère d'une autre. Au lieu de traiter les probabilités comme de simples nombres, cette géométrie considère les familles de distributions comme des espaces courbés où la distance est définie par la perte d'information. En théorie des probabilités, la divergence KL et sa géométrie sont utilisées pour étudier la convergence, les grandes déviations et les approximations optimales entre des modèles aléatoires. En apprentissage automatique, la géométrie de Kullback est au cœur de l'inférence variationnelle, de l'optimisation par espérance-maximisation et des modèles génératifs modernes, où apprendre signifie déplacer un modèle à travers cet espace d'information pour se rapprocher de la distribution des données. Dans la vie réelle, elle apparaît dans la compression de données, le traitement du signal et la prise de décision, où minimiser la divergence KL signifie utiliser des modèles qui gaspillent le moins d'information possible lors de la représentation d'une réalité incertaine. Image: