假设p和q均是服从正态分布的随机变量的概率密度函数 (probability density function) 则从q到p的KL散度定义为已知正态分布的概率密度函数(probability density function)如下式我们先学几个定义和公式1.方差定义Var(X) E[(X - μ)²]其中- X随机变量- μ期望值均值- E期望运算具体形式Var(X) ∫ P(x) (x - μ)² dx连续Var(X) Σ P(x) (x - μ)²离散2.期望定义期望定义μ E[X] ∫ x P(x) dx含义- μ是随机变量X的平均值- μ是概率分布的中心位置3.方差定义的推导方差定义Var(X) E[(X - μ)²]展开Var(X) ∫ P(x) (x - μ)² dx关键- (x - μ)²衡量x偏离均值μ的程度- P(x)概率权重- ∫对所有可能的x积分含义- 方差衡量分布的分散程度- 方差衡量偏离均值的平均程度4.为什么这个积分等于σ²关键理解对于高斯分布N(μ, σ²)- μ均值期望- σ²方差分散程度方差定义σ² Var(X) E[(X - μ)²] ∫ P(x) (x - μ)² dx所以∫ P(x) (x - μ)² dx σ²这是方差的定义5.我们来试试高斯分布和离散分布高斯分布高斯分布N(μ, σ²)P(x) (1/(σ√(2π))) * exp(-(x-μ)²/(2σ²))方差计算σ² ∫ P(x) (x - μ)² dx验证∫ (1/(σ√(2π))) * exp(-(x-μ)²/(2σ²)) * (x-μ)² dx设y x - μ∫ (1/(σ√(2π))) * exp(-y²/(2σ²)) * y² dy利用高斯积分性质∫ y² * exp(-y²/(2σ²)) dy σ²√(2πσ²)这步下面我还会有推导步骤别急所以σ² (1/(σ√(2π))) * σ²√(2πσ²) σ²结论∫ P(x) (x-μ)² dx σ²离散分布离散分布P(0) 0.5, P(1) 0.5期望μ 0*0.5 1*0.5 0.5方差σ² Σ P(x) (x - μ)² 【看好概率的作用】 0.5*(0-0.5)² 0.5*(1-0.5)² 0.5*0.25 0.5*0.25 0.25验证∫ P(x) (x-μ)² dx σ² 0.25结论方差定义正确6.方差的其他形式方差等价形式Var(X) E[X²] - E[X]²推导Var(X) E[(X - μ)²] E[X² - 2μX μ²] E[X²] - 2μE[X] μ² E[X²] - 2μ² μ² E[X²] - μ² E[X²] - E[X]²验证E[X²] ∫ x² P(x) dxE[X]² μ²所以Var(X) E[X²] - E[X]²7.方差的物理意义方差物理意义- 衡量分布的分散程度- 衡量偏离均值的平均程度- 衡量分布的宽度例子分布1N(0, 1) → σ²1 → 分散程度小分布2N(0, 4) → σ²4 → 分散程度大直觉- σ²小 → 分布集中偏离均值程度小- σ²大 → 分散偏离均值程度大8.∫ y² * exp(-y²/(2σ²)) dy σ²√(2πσ²)这个是怎么来的σ² ∫ P(x) (x - μ)² dx我使用的是分部积分法分部积分公式∫ u dv uv - ∫ v du设u ydv y * exp(-y²/(2σ²)) dy计算vv ∫ y * exp(-y²/(2σ²)) dy设t y²/(2σ²)则dt y/σ² dy所以v σ² ∫ exp(-t) dt -σ² exp(-t) -σ² exp(-y²/(2σ²))计算dudu dy应用分部积分∫ y² * exp(-y²/(2σ²)) dy y * (-σ² exp(-y²/(2σ²))) - ∫ (-σ² exp(-y²/(2σ²))) dy -σ² y exp(-y²/(2σ²)) σ² ∫ exp(-y²/(2σ²)) dy加号后面的那个的结果是σ²√(2πσ²)你用对p(x)积分等于1就可以反推出来了然后我们看前面这个这个利用的是边界值边界值计算当y → ±∞时- y exp(-y²/(2σ²)) → 0原因- exp(-y²/(2σ²))衰减速度比y增长速度快- 所以y exp(-y²/(2σ²)) → 0具体当y → ∞y exp(-y²/(2σ²)) y / exp(y²/(2σ²)) → 0当y → -∞y exp(-y²/(2σ²)) y / exp(y²/(2σ²)) → 0这个对于衰减速度考研的时候都知道为什么要计算边界值uv是分部积分后的边界项 - 必须计算边界值才能得到完整结果要看清楚是积分还是需要计算边界值积分的话是对于谁进行积分边界值的话是带入正负无穷现在是推断完了方差和p(x)之间的关系就是σ² ∫ P(x) (x - μ)² dx这个要记住好的我们现在来推导连续随机变量的KL散度的计算公式这个推导的时候就用到了σ² ∫ P(x) (x - μ)² dx还用到了这个是期望离散的话是x和概率计算这个就是积分这个就用刚才推的公式² ∫ P(x) (x - μ)² dx这个一展开就好了然后还有一个多元连续变量的·KL散度我先不学了这样一看KL散度单纯的计算公式还是很简单的如果不是多元的话复习一下