"Geometri Kullback" mengacu pada sudut pandang geometris yang dibangun di sekitar divergensi Kullback-Leibler (KL), yang mengukur bagaimana satu distribusi probabilitas berbeda dari yang lain. Alih-alih memperlakukan probabilitas sebagai bilangan sederhana, geometri ini memperlakukan keluarga distribusi sebagai ruang melengkung di mana jarak ditentukan oleh kehilangan informasi. Dalam teori probabilitas, divergensi KL dan geometrinya digunakan untuk mempelajari konvergensi, penyimpangan besar, dan perkiraan optimal antara model acak. Dalam pembelajaran mesin, geometri Kullback terletak di jantung inferensi variasi, ekspektasi-maksimalisasi, dan model generatif modern, di mana pembelajaran berarti memindahkan model melalui ruang informasi ini untuk lebih dekat dengan distribusi data. Dalam kehidupan nyata, itu muncul dalam kompresi data, pemrosesan sinyal, dan pengambilan keputusan, di mana meminimalkan divergensi KL berarti menggunakan model yang membuang-buang informasi sesedikit mungkin saat mewakili realitas yang tidak pasti. Gambar: