"Geometría Kullback" se refiere al punto geométrico construido en torno a la divergencia de Kullback–Leibler (KL), que mide cómo difiere una distribución de probabilidad de otra. En lugar de tratar las probabilidades como números simples, esta geometría trata las familias de distribuciones como espacios curvos donde la distancia está definida por la pérdida de información. En teoría de la probabilidad, la divergencia KL y su geometría se utilizan para estudiar convergencia, grandes desviaciones y aproximaciones óptimas entre modelos aleatorios. En aprendizaje automático, la geometría de Kullback está en el corazón de la inferencia variacional, la expectativa-maximización y los modelos generativos modernos, donde aprender significa mover un modelo a través de este espacio de información para acercarse a la distribución de datos. En la vida real, aparece en la compresión de datos, el procesamiento de señales y la toma de decisiones, donde minimizar la divergencia de KL implica usar modelos que desperdician la menor cantidad de información posible al representar una realidad incierta. Imagen: