Source-linked AI summary
Notes on Kullback-Leibler Divergence and Likelihood
Jonathon Shlens
TL;DR
이 논문은 KL divergence가 likelihood theory에서 어떻게 도출되는지, 구체적으로 평균 multinomial log-likelihood의 음의 로그로 나타나는 과정을 검토한다. multinomial likelihood, independent observations, 대수적 전개, Stirling’s approximation을 사용해 이 관계를 도출한다. KL divergence는 평균 multinomial log-likelihood의 음의 로그다.
문제
이 논문은 KL divergence가 likelihood theory에서 어떻게 도출되는지, 구체적으로 평균 multinomial log-likelihood의 음의 로그로 나타나는 과정을 검토한다.
방법
multinomial likelihood, independent observations, 대수적 전개, Stirling’s approximation을 사용해 이 관계를 도출한다.
결과
KL divergence는 평균 multinomial log-likelihood의 음의 로그다.
핵심 시사점 및 한계
이 도출은 multinomial likelihood와의 관계를 통해 KL divergence를 해석한다.
Abstract
from arXiv · showhide
The Kullback-Leibler (KL) divergence is a fundamental equation of information theory that quantifies the proximity of two probability distributions. Although difficult to understand by examining the equation, an intuition and understanding of the KL divergence arises from its intimate relationship with likelihood theory. We discuss how KL divergence arises from likelihood theory in an attempt to provide some intuition and reserve a rigorous (but rather simple) derivation for the appendix. Finally, we comment on recent applications of KL divergence in the neural coding literature and highlight its natural application.
부록 A: 유도
부록에서는 Stirling’s approximation, 대수적 재배열, 암묵적 확률분포의 인식을 사용해 Equation 2의 관계를 유도한다. KL divergence가 평균 multinomial log-likelihood의 음의 로그임을 보이고, entropy를 조합적 정규화와 연결한다.
- 부록 A: 유도: 이 유도는 Stirling’s approximation, 대수적 조작, 암묵적 확률분포의 인식을 적용해 Equation 2를 확립한다.Stirling’s approximation은 log n! ≃ n log n − n이며 n > O(100)에서 상당히 정확해진다.
- 부록 A: 유도: multinomial likelihood는 모델 q가 주어졌을 때 histogram c를 관측할 확률을 나타내며, 독립 관측값들은 결합확률로 결합된다.부록에서는 histogram count 전반의 multinomial likelihood에 대한 geometric mean을 통해 average likelihood를 정의한다.
- 부록 A: 유도: KL divergence는 average multinomial log-likelihood의 negative logarithm이다.이 유도에서는 극한 n →∞에서 normalized histogram을 확률분포로 인식한다.
- 부록 A: 유도: multinomial likelihood의 normalization constant는 Σ_i p_i log p_i를 산출하며, 조합적 추론을 통해 해당 분포의 entropy를 식별한다.부록에서는 조합적 개념에서 출발한 이 entropy 유도를 Jaynes (2003)에 귀속한다.