「カルバック幾何学」とは、ある確率分布が他の分布とどのように異なるかを測定する、カールバック–ライブラー(KL)発散を中心とした幾何学的視点を指します。確率を単純な数値として扱うのではなく、この幾何学は分布族を距離が情報損失によって定義される曲線空間として扱います。確率論において、KL発散とその幾何学は収束、大きな偏差、最適近似を研究するために用いられます。機械学習において、カルバック幾何学は変分推論、期待最大化、現代の生成モデルの中心にあり、学習とはモデルを情報空間内で移動させてデータ分布に近づけることを意味します。現実では、データ圧縮、信号処理、意思決定において顕著であり、KL発散を最小限に抑えるためには、不確実な現実を表現する際にできるだけ情報の無駄を避けたモデルを使うことが求められます。 画像: