"Kullbackin geometria" viittaa geometriseen näkökulmaan, joka rakentuu Kullback–Leibler (KL) -divergenssin ympärille ja mittaa, miten yksi todennäköisyysjakauma eroaa toisistaan. Sen sijaan, että todennäköisyyksiä käsiteltäisiin yksinkertaisina lukuina, tämä geometria käsittelee jakaumaperheitä kaarevina avaruuksina, joissa etäisyys määritellään informaatiohäviön perusteella. Todennäköisyysteoriassa KL:n divergenssiä ja sen geometriaa käytetään konvergenssin, suurten poikkeamien ja optimaalisten approksimaatioiden tutkimiseen satunnaismallien välillä. Koneoppimisessa Kullbackin geometria on variaatiopäättelyn, odotus-maksimoinnin ja nykyaikaisten generatiivisten mallien ytimessä, joissa oppiminen tarkoittaa mallin siirtämistä tässä informaatiotilassa lähemmäs datan jakautumista. Todellisuudessa se ilmenee datan pakkauksessa, signaalinkäsittelyssä ja päätöksenteossa, joissa KL:n divergenssin minimoiminen tarkoittaa mallien käyttöä, jotka tuhlaavat mahdollisimman vähän tietoa epävarman todellisuuden esittämisessä. Kuva: