"Hình học Kullback" đề cập đến quan điểm hình học được xây dựng xung quanh độ lệch Kullback–Leibler (KL), đo lường sự khác biệt giữa hai phân phối xác suất. Thay vì coi xác suất như những con số đơn giản, hình học này coi các họ phân phối như những không gian cong, nơi khoảng cách được định nghĩa bởi sự mất mát thông tin. Trong lý thuyết xác suất, độ lệch KL và hình học của nó được sử dụng để nghiên cứu sự hội tụ, các độ lệch lớn và các xấp xỉ tối ưu giữa các mô hình ngẫu nhiên. Trong học máy, hình học Kullback nằm ở trung tâm của suy diễn biến thiên, tối đa kỳ vọng và các mô hình sinh tạo hiện đại, nơi việc học có nghĩa là di chuyển một mô hình qua không gian thông tin này để tiến gần hơn đến phân phối dữ liệu. Trong đời sống thực, nó xuất hiện trong nén dữ liệu, xử lý tín hiệu và ra quyết định, nơi việc tối thiểu hóa độ lệch KL có nghĩa là sử dụng các mô hình lãng phí càng ít thông tin càng tốt khi đại diện cho thực tế không chắc chắn. Hình ảnh: