Deviance, KL divergence, likelihood ratio and Neyman-Pearson

偏差、KL 散度、似然比与 Neyman–Pearson 引理

MTH303 专题补充讲义

Deviance、KL 散度与似然比

从 Neyman–Pearson 到 GLM:历史与推导

这几个概念经常在同一页出现,却不是同一层次的对象。 本讲义从“怎样比较两个模型对数据的解释”出发,逐步连接检验、信息量和 GLM 拟合优度。 全部对数使用自然对数,信息量单位为 nat。

先记住四句话,再看证明
  1. 似然比比较两个分布对同一份数据给出的相对密度或概率。

  2. Neyman–Pearson 引理说明:简单原假设对简单备择时,按似然比排序可以在给定第一类错误率下最大化功效。

  3. KL 散度是取定期望分布之后的平均对数似然比。

  4. Deviance在 GLM 中将拟合模型与饱和模型的最大化似然作比较;它可以在明确条件下写成 KL 散度之和。

log⁡f1(Y)f0(Y)⏟随机的相对证据→𝔼1DKL(P1‖P0)⏟平均信息差异\underbrace{\log\frac{f_1(Y)}{f_0(Y)}}_{\text{随机的相对证据}} \quad\xrightarrow{\ \mathbb E_1\ }\quad \underbrace{D_{\mathrm{KL}}(P_1\Vert P_0)}_{\text{平均信息差异}} 2(ℓfull−ℓnull)⏟广义似然比统计量→full=saturatedD*⏟scaled deviance.\underbrace{2(\ell_{\mathrm{full}}-\ell_{\mathrm{null}})}_{\text{广义似然比统计量}} \quad\xrightarrow{\ \mathrm{full}=\mathrm{saturated}\ }\quad \underbrace{D^*}_{\text{scaled deviance}}.

读完应能回答的问题

为什么 KL 的两个分布不能交换?为什么似然比要取对数、再乘 2? 为什么 deviance 有时等于 2nKL2n\,\mathrm{KL},有时是若干 KL 的和? 为什么“最强力检验”和“近似卡方分布”是两件不同的事?

本讲义的约定

用 r=f1/f0r=f_1/f_0 表示支持备择的简单似然比,较大时更倾向拒绝原假设。 用 Λ=sup⁡Θ0L/sup⁡Θ1L≤1\Lambda=\sup_{\Theta_0}L/\sup_{\Theta_1}L\le1 表示嵌套模型的广义似然比, 较小时更倾向拒绝。GLM 的共同尺度记作 a>0a>0,并沿用课件 D=aD*D=aD^* 的定义。

教学顺序与历史顺序不同 可以用 KL 统一解释早期的似然比检验,但这不表示历史上先有 KL,再由它发明检验。 后文按原始论文年代梳理:似然理论、检验最优性、大样本分布、信息论和 GLM。

Likelihood ratio:固定数据,比较两个解释

概率与似然使用同一个公式,固定的对象不同

设观测数据为 yy,模型密度或概率质量函数为 f(y;θ)f(y;\theta)。 把 θ\theta 固定、让 YY 随机,是在描述抽样分布; 把已观测的 yy 固定、让 θ\theta 改变,就得到似然函数 L(θ;y)=f(y;θ).L(\theta;y)=f(y;\theta). 似然不是“参数取某个值的概率”。连续模型中的 f(y;θ)f(y;\theta) 是密度, 也不是单点事件 Y=yY=y 的概率。

从两个完全指定的假设开始

考虑 H0:Y∼P0H_0:Y\sim P_0 与 H1:Y∼P1H_1:Y\sim P_1。 它们的密度 f0,f1f_0,f_1 使用相同的基准测度。定义 r(y)=f1(y)f0(y),s(y)=log⁡r(y)=log⁡f1(y)−log⁡f0(y).{r(y)=\frac{f_1(y)}{f_0(y)}},\qquad {s(y)=\log r(y)=\log f_1(y)-\log f_0(y)}. r(y)>1r(y)>1 表示这份数据在指定的 P1P_1 下有更大的密度; r(y)<1r(y)<1 则相反。简单似然比的对数可以为负。 当 f0=0,f1>0f_0=0,f_1>0 时,将比值解释为 +∞+\infty。

独立观测使证据相乘,对数证据相加

若 Y1,…,YnY_1,\ldots,Y_n 独立同分布,两假设下的单观测密度分别为 p0,p1p_0,p_1,则 rn(y1,…,yn)=∏i=1np1(yi)p0(yi),log⁡rn=∑i=1nlog⁡p1(yi)p0(yi).r_n(y_1,\ldots,y_n)=\prod_{i=1}^n\frac{p_1(y_i)}{p_0(y_i)}, \qquad \log r_n=\sum_{i=1}^n\log\frac{p_1(y_i)}{p_0(y_i)}. 后面的 KL 散度正是研究这些对数似然比的平均值。

本讲义保留两种方向,避免负号混乱
简单检验用 r=f1/f0r=f_1/f_0,rr 大时拒绝 H0H_0。 复合假设的广义似然比将用 Λ=sup⁡H0L/sup⁡fullL\Lambda=\sup_{H_0}L/\sup_{\mathrm{full}}L, Λ\Lambda 小时拒绝。这两个符号的分子方向不同,后文会明确换算。

Neyman–Pearson:先控制误报,再提高检出率

把检验写成一个函数

令 φ(y)∈[0,1]\varphi(y)\in[0,1] 表示看到数据 yy 后拒绝 H0H_0 的概率。 确定性检验只取 0,10,1;若 0<φ(y)<10<\varphi(y)<1,可额外生成一个独立均匀随机数实施决策。 于是 𝔼0{φ(Y)}⏟size:原假设为真时误拒的概率,𝔼1{φ(Y)}⏟power:指定备择下拒绝的概率.\underbrace{\mathbb E_0\{\varphi(Y)\}}_{\text{size:原假设为真时误拒的概率}}, \qquad \underbrace{\mathbb E_1\{\varphi(Y)\}}_{\text{power:指定备择下拒绝的概率}}. 第二类错误概率为 1−𝔼1φ1-\mathbb E_1\varphi。检验设计的目标是 max0≤φ≤1𝔼1φ满足𝔼0φ≤α.{\max_{0\le\varphi\le1}\ \mathbb E_1\varphi \quad\text{满足}\quad \mathbb E_0\varphi\le\alpha.} 这里 P1P_1 是预先指定的一个分布,不是“所有可能的备择”合在一起。

Neyman–Pearson 引理给出的最优规则

选取阈值 c≥0c\ge0 和边界随机化概率 γ∈[0,1]\gamma\in[0,1],使 φ*(y)={1,r(y)>c,γ,r(y)=c,0,r(y)<c,𝔼0φ*=α.\varphi_*(y)= \begin{cases} 1,&r(y)>c,\\ \gamma,&r(y)=c,\\ 0,&r(y)<c, \end{cases} \qquad \mathbb E_0\varphi_* =\alpha. 则 φ*\varphi_* 在所有水平不超过 α\alpha 的检验中,对这个指定的 P1P_1 具有最大的 power,称为最强力检验(most powerful)。

为什么直觉上应该按似然比排序?

把一个很小的区域纳入拒绝域,获得的检出概率约为 f1(y)dyf_1(y)\,dy, 消耗的误报概率约为 f0(y)dyf_0(y)\,dy。二者的比值就是 r(y)r(y)。 在有限的误报预算内,先选比值大的区域,能够更有效地增加检出概率。

精确最优性有明确范围 这是简单原假设对简单备择的有限样本结论,不需要大样本或卡方近似。 它不自动说明一个检验对所有备择都同时最优;也不把“拒绝”解释为原假设的后验概率很小。

Neyman–Pearson 引理的完整不等式证明

取任意另一个检验 φ\varphi,满足 𝔼0φ≤α\mathbb E_0\varphi\le\alpha。 要证明 𝔼1φ*≥𝔼1φ\mathbb E_1\varphi_*\ge\mathbb E_1\varphi,只需比较二者的积分。

第 1 步:检查每一个数据点处的符号

所以逐点有 (φ*−φ)(f1−cf0)≥0.{(\varphi_* -\varphi)(f_1-cf_0)\ge0.}

第 2 步:积分,再把两种概率分开

对共同基准测度 ν\nu 积分,得到 0≤∫(φ*−φ)(f1−cf0)dν=(𝔼1φ*−𝔼1φ)−c(𝔼0φ*−𝔼0φ).\begin{align*} 0&\le\int(\varphi_*-\varphi)(f_1-cf_0)\,d\nu\\ &=\bigl(\mathbb E_1\varphi_*-\mathbb E_1\varphi\bigr) -c\bigl(\mathbb E_0\varphi_*-\mathbb E_0\varphi\bigr). \end{align*} 移项,并利用 𝔼0φ*=α\mathbb E_0\varphi_*=\alpha、𝔼0φ≤α\mathbb E_0\varphi\le\alpha: 𝔼1φ*−𝔼1φ≥c(α−𝔼0φ)≥0.\mathbb E_1\varphi_*-\mathbb E_1\varphi \ge c\bigl(\alpha-\mathbb E_0\varphi\bigr)\ge0. 因此没有另一个同样控制误报的检验能获得更大的指定备择检出率。

边界随机化为什么不会破坏证明?

在 f1=cf0f_1=cf_0 的区域上,单位原假设概率对应的备择概率都恰好为 cc。 因此从这里取出多少概率,只影响是否用完 α\alpha 的预算,不影响上述排序原则。 离散数据的尾概率会跳跃,随机化正是把 size 精确补足到 α\alpha 的办法。

证明里真正使用了什么?
只用了似然比的排序、检验函数在 [0,1][0,1] 内、以及同一误报约束。 这里没有使用 KL,也没有使用 MLE、饱和模型或 Wilks 定理; 那些联系需要在后面分别建立。

手算 NP 检验:10 次试验中观察到 8 次成功

令 S∼Binomial⁡(10,p)S\sim\operatorname{Binomial}(10,p),检验 H0:p=0.5,H1:p=0.8.H_0:p=0.5,\qquad H_1:p=0.8. 二项系数在比值中消掉,因此 r(s)=(10s)0.8s0.210−s(10s)0.510=1.6s0.410−s=0.4104s.r(s)=\frac{\binom{10}{s}0.8^s0.2^{10-s}} {\binom{10}{s}0.5^{10}} =1.6^s0.4^{10-s}=0.4^{10}4^s. r(s)r(s) 随 ss 严格增加,NP 规则应优先拒绝成功数大的样本。

先计算观测到的证据

当 s=8s=8 时, r(8)=6.87194767,log⁡r(8)=8log⁡1.6+2log⁡0.4=1.92744757.r(8)=6.87194767,\qquad \log r(8)=8\log1.6+2\log0.4=1.92744757. 它表示这份数据在指定的 p=0.8p=0.8 下具有更大似然,但是否拒绝还取决于水平约束。

再按 H0H_0 的分布选阈值,不能直接猜

P0(S≥9)=111024=0.01074219,P0(S=8)=451024=0.04394531.P_0(S\ge9)=\frac{11}{1024}=0.01074219, \quad P_0(S=8)=\frac{45}{1024}=0.04394531. P0(S≥8)=56/1024=0.0546875>0.05P_0(S\ge8)=56/1024=0.0546875>0.05。要得到恰好 5% 的检验,采用 S≥9 必拒; S=8 以 γ=6775 的概率拒绝.{S\ge9\text{ 必拒; }S=8\text{ 以 }\gamma=\frac{67}{75}\text{ 的概率拒绝}.} 因为 111024+γ451024=0.05⇒γ=0.89333333.\frac{11}{1024}+\gamma\frac{45}{1024}=0.05 \quad\Longrightarrow\quad \gamma=0.89333333. 其 power 在 p=0.8p=0.8 下为 P1(S≥9)+γP1(S=8)=0.37580964+6775(0.30198989)=0.64558727.P_1(S\ge9)+\gamma P_1(S=8) =0.37580964+\frac{67}{75}(0.30198989)=0.64558727.

若不愿随机化,应如实报告实际 size 简单采用 S≥9S\ge9 的非随机规则,size 为 0.01074219;采用 S≥8S\ge8,则 size 为 0.0546875, 不能把后者称为严格控制在 5% 的检验。常规单侧尾概率 P0(S≥8)=0.0546875P_0(S\ge8)=0.0546875 与允许边界随机化的 NP 决策不是同一操作。

同一份数据:NP 单侧证据与 GLR 双侧证据

np_binomial.png
图 1:单个二项计数(n = 10)的 Neyman–Pearson 检验。固定似然比随 X 增大;H₀: p = 0.5 对 H₁: p = 0.8 时,X ≥ 9 拒绝,X = 8 处按 γ = 67/75 随机化,X ≤ 7 保留;检验水平恰为 0.05(不随机化时 X ≥ 8 的 size 为 0.0547,X ≥ 9 为 0.0107)。

简单备择 p=0.8p=0.8 只支持向上的偏离

上一页的 NP 检验比较固定的 p=0.8p=0.8 与 p=0.5p=0.5。 成功数很小的样本在 p=0.8p=0.8 下更不合理,因此不会进入该检验的优先拒绝区域。

若备择是任意 p≠0.5p\ne0.5,逻辑就改变了

对每个观测 ss,完整模型会重新选择 p̂=s/10\hat p=s/10。因此广义似然比统计量为 G2(s)=2[slogs/100.5+(10−s)log1−s/100.5].G^2(s)=2\left[s\log\frac{s/10}{0.5} +(10-s)\log\frac{1-s/10}{0.5}\right]. 边界采用 0log⁡0=00\log0=0 的极限约定。它在 s=5s=5 时为零,并随向两端偏离而增大。 当 s=8s=8 时,G2=3.85489514=2log⁡r(8)G^2=3.85489514=2\log r(8), 只是因为本次数据的 MLE 恰好等于预先指定的 0.80.8。

相同的统计量数值,不代表相同的检验

原假设下,G2(S)≥G2(8)G^2(S)\ge G^2(8) 对应 S≤2S\le2 或 S≥8S\ge8,故精确尾概率为 P0{G2(S)≥G2(8)}=2561024=0.109375.P_0\{G^2(S)\ge G^2(8)\}=2\frac{56}{1024}=0.109375. 若用大样本 χ12\chi^2_1 近似,则得到 p≈0.04960p\approx0.04960。 这说明 n=10n=10 时离散分布的近似可能不够准确,不是两个精确结论互相矛盾。

先说假设,再比较统计量
NP 的简单备择决定了单侧的似然排序;GLR 的复合备择允许向两个方向寻找更好的参数。 检验不是一个孤立数字,还包括原假设、备择和原假设下的校准规则。

从简单似然比到广义似然比:增加的是优化

两个模型各自把参数拟合到最好

令 Θ0⊂Θ\Theta_0\subset\Theta,检验 H0:θ∈Θ0H_0:\theta\in\Theta_0, 备择允许参数进入更大的完整模型 Θ\Theta。定义 Λ(y)=supθ∈Θ0L(θ;y)supθ∈ΘL(θ;y)≤1,{\Lambda(y)=\frac{\sup_{\theta\in\Theta_0}L(\theta;y)} {\sup_{\theta\in\Theta}L(\theta;y)}\le1}, G2(y)=−2log⁡Λ(y)=2{ℓ(θ̂;y)−ℓ(θ̂0;y)}≥0.{G^2(y)=-2\log\Lambda(y) =2\{\ell(\hat\theta;y)-\ell(\hat\theta_0;y)\}\ge0.} 若最大值只在边界逼近,使用上确界即可。两个模型中未受限制的其他参数也要分别重新估计。 G2≥0G^2\ge0 来自模型嵌套与最大化,不是来自“所有对数似然比非负”。

为什么写成 −2log⁡Λ-2\log\Lambda?

取负号使“更不支持原假设”对应更大的数;乘以 2 与后面的局部二次型展开配合, 在正则情形下产生熟悉的卡方极限。这个变换不改变 Λ\Lambda 的排序。

为什么不能直接援引 NP 说 GLR 最强力?

NP 的证明比较两个固定密度 f0,f1f_0,f_1。 在 GLR 中,θ̂\hat\theta 和 θ̂0\hat\theta_0 都随数据改变; y↦sup⁡θf(y;θ)y\mapsto\sup_\theta f(y;\theta) 通常并不是一个积分为 1 的密度。 所以不能把两个最大化似然直接当作 NP 证明中的两个固定抽样分布。

三个需要分开的结论 NP 引理给简单假设的有限样本最强力性; GLR 给复合假设的一种一般构造; Wilks 定理在正则条件下给 GLR 的大样本零分布。 特殊模型可能有一致最强力检验,但不是任意 GLR 自动具有的性质。

下一步把完整模型换成能逐点拟合数据的饱和模型,就会得到 deviance。 再研究对数似然比的期望,就会得到 KL 散度;这是两条不同、最终相接的联系。

KL 散度:先选定谁产生数据

设 P,QP,Q 的密度或概率质量函数为 p,qp,q,相对于同一个基准测度定义。 KL 散度为 DKL(P‖Q)=𝔼P[logp(Y)q(Y)]=∫p(y)log⁡p(y)q(y)dy.{D_{\mathrm{KL}}(P\Vert Q)=\mathbb E_P\!\left[\log\frac{p(Y)}{q(Y)}\right] =\int p(y)\log\frac{p(y)}{q(y)}\,dy.} 离散情形把积分换为求和。左边的分布决定平均时的权重: 数据由 PP 产生,用 QQ 替代 PP 会损失多少平均对数得分?

零概率与无穷大的约定

在离散求和中令 0log⁡(0/q)=00\log(0/q)=0。若某事件在 PP 下有正概率,却在 QQ 下概率为零, 则 DKL(P‖Q)=+∞D_{\mathrm{KL}}(P\Vert Q)=+\infty。一般地,有限 KL 要求 P≪QP\ll Q,即 PP 对 QQ 绝对连续。

非负性不是定义,而是可证明的性质

在相关期望存在时,用 −log⁡t≥1−t-\log t\ge1-t,令 t=q(y)/p(y)t=q(y)/p(y),得到 DKL(P‖Q)=𝔼P[−log⁡{q(Y)/p(Y)}]≥1−∫{p>0}q(y)dy≥0.\begin{align*} D_{\mathrm{KL}}(P\Vert Q) &=\mathbb E_P[-\log\{q(Y)/p(Y)\}]\\ &\ge1-\int_{\{p>0\}}q(y)\,dy\ge0. \end{align*} 等号成立需要比值等于 1,且 QQ 不在 PP 支持集之外放额外质量,因此 DKL(P‖Q)=0D_{\mathrm{KL}}(P\Vert Q)=0 当且仅当 P=QP=Q(忽略零测集)。

它为什么叫“散度”而不叫通常的距离?

KL 一般不对称,也不满足距离函数的三角不等式。 非负只能说明它衡量差异,不能让它自动具有欧氏距离的全部性质。

最直接的解释
log⁡p(Y)\log p(Y) 是使用真实分布的对数得分,log⁡q(Y)\log q(Y) 是使用替代分布的对数得分。 KL 是两者在真实分布下的平均差。某一次数据可能偏向 QQ,但平均差不会为负。

KL 正是平均对数似然比:方向决定符号

对简单假设 P0P_0 与 P1P_1,记 r(Y)=f1(Y)/f0(Y)r(Y)=f_1(Y)/f_0(Y)。则 𝔼1[log⁡r(Y)]=DKL(P1‖P0)≥0,{\mathbb E_1[\log r(Y)]=D_{\mathrm{KL}}(P_1\Vert P_0)\ge0,} 𝔼0[log⁡r(Y)]=−DKL(P0‖P1)≤0.{\mathbb E_0[\log r(Y)]=-D_{\mathrm{KL}}(P_0\Vert P_1)\le0.} 这两个式子使用同一个随机量 log⁡r(Y)\log r(Y),却在不同分布下取期望。

为什么不能交换 KL 的顺序?一个 Bernoulli 例子

取 P1=Ber⁡(0.8)P_1=\operatorname{Ber}(0.8),P0=Ber⁡(0.5)P_0=\operatorname{Ber}(0.5)。 DKL(P1‖P0)=0.8log⁡1.6+0.2log⁡0.4=0.192745,DKL(P0‖P1)=0.5log⁡0.625+0.5log⁡2.5=0.223144.\begin{align*} D_{\mathrm{KL}}(P_1\Vert P_0) &=0.8\log1.6+0.2\log0.4=0.192745,\\ D_{\mathrm{KL}}(P_0\Vert P_1) &=0.5\log0.625+0.5\log2.5=0.223144. \end{align*} 在 P1P_1 下,成功事件占 80%80\% 的权重;在 P0P_0 下,成功与失败各占一半。 不同权重产生不同平均损失,因此不对称是有统计含义的。

独立样本把信息相加

若 Y1,…,YnY_1,\ldots,Y_n 独立同分布, log⁡rn=log⁡∏if1(Yi)∏if0(Yi)=∑i=1nlog⁡f1(Yi)f0(Yi).\log r_n=\log\frac{\prod_i f_1(Y_i)}{\prod_i f_0(Y_i)} =\sum_{i=1}^n\log\frac{f_1(Y_i)}{f_0(Y_i)}. 所以 DKL(P1⊗n‖P0⊗n)=nDKL(P1‖P0).D_{\mathrm{KL}}(P_1^{\otimes n}\Vert P_0^{\otimes n}) =nD_{\mathrm{KL}}(P_1\Vert P_0). 在相应可积性条件下,大数定律进一步给出 1nlog⁡rn→P1a.s.DKL(P1‖P0),1nlog⁡rn→P0a.s.−DKL(P0‖P1).\frac1n\log r_n\xrightarrow[P_1]{\mathrm{a.s.}}D_{\mathrm{KL}}(P_1\Vert P_0), \qquad \frac1n\log r_n\xrightarrow[P_0]{\mathrm{a.s.}}-D_{\mathrm{KL}}(P_0\Vert P_1).

单次证据与平均证据不同 rnr_n 可能大于 1,也可能小于 1;log⁡rn\log r_n 可正可负。 KL 则是指定分布下的期望,非负性并不要求每一次实现值都非负。 上述信息相加也依赖独立性;相关数据不能直接当作 nn 份独立信息。

最大似然为什么可以理解为寻找 KL 最近的模型?

设真实分布为 PP,候选模型为 QθQ_\theta。在相关积分有限时, DKL(P‖Qθ)=𝔼P[log⁡p(Y)]−𝔼P[log⁡qθ(Y)].D_{\mathrm{KL}}(P\Vert Q_\theta) =\mathbb E_P[\log p(Y)]-\mathbb E_P[\log q_\theta(Y)]. 第一项不含 θ\theta,因此 arg⁡minθDKL(P‖Qθ)=arg⁡maxθ𝔼P[log⁡qθ(Y)].{\arg\min_\theta D_{\mathrm{KL}}(P\Vert Q_\theta) =\arg\max_\theta\mathbb E_P[\log q_\theta(Y)].} 真实期望未知,最大似然用样本平均替代它: θ̂=arg⁡maxθ1n∑ilog⁡qθ(yi).\hat\theta=\arg\max_\theta\frac1n\sum_i\log q_\theta(y_i). 在适当的一致收敛、可识别性和紧性等条件下,MLE 接近总体最优点。 若真实分布不在模型族中,这个点可理解为族内在上述方向上 KL 最接近真实分布的参数, 而不必是某个“真实模型参数”。

有限分类数据:样本版本也可精确写成 KL

若观察类别 1,…,m1,\ldots,m,频数为 njn_j,经验比例 p̂j=nj/n\hat p_j=n_j/n, 则 ℓ(q)n=∑jp̂jlog⁡qj+不含 q 的常数,\frac{\ell(q)}n=\sum_j\hat p_j\log q_j+\text{不含 }q\text{ 的常数}, 且 DKL(P̂‖Q)=∑jp̂jlog⁡p̂j−∑jp̂jlog⁡qj.D_{\mathrm{KL}}(\hat P\Vert Q)=\sum_j\hat p_j\log\hat p_j- \sum_j\hat p_j\log q_j. 所以最大似然在这里精确等于最小化经验类别分布到候选分布的 KL。

连续响应时,不要照搬“经验分布的 KL” 连续模型 QQ 给单点的概率为零,而经验分布 P̂n\hat P_n 在观测值上有原子。 因此通常 DKL(P̂n‖Q)=∞D_{\mathrm{KL}}(\hat P_n\Vert Q)=\infty,不能把它当作有限的拟合目标。 ∑ilog⁡qθ(yi)\sum_i\log q_\theta(y_i) 仍然是合法的对数密度得分; 它近似的是总体交叉熵目标,而不是这个无穷大的经验 KL。

取对数、乘 2 与卡方:各自做了什么?

对嵌套模型,Λ=sup⁡Θ0L/sup⁡Θ1L≤1\Lambda=\sup_{\Theta_0}L/\sup_{\Theta_1}L\le1。 取对数把乘积变成和,并保留排序;负号使“差的原假设”对应较大统计量。 乘 2 则与局部 Taylor 展开中的 1/21/2 抵消。

先看一个参数、简单原假设的二次近似

若完整 MLE 为内部点 θ̂\hat\theta,其得分为零,故 ℓ(θ0)≈ℓ(θ̂)−12In(θ̂)(θ0−θ̂)2.\ell(\theta_0)\approx\ell(\hat\theta) -\frac12 I_n(\hat\theta)(\theta_0-\hat\theta)^2. 这里先由观测曲率展开,再在大样本下以期望信息替代。因此 G2=2{ℓ(θ̂)−ℓ(θ0)}≈In(θ̂)(θ̂−θ0)2.G^2=2\{\ell(\hat\theta)-\ell(\theta_0)\} \approx I_n(\hat\theta)(\hat\theta-\theta_0)^2. 原假设下,In(θ̂−θ0)∼̇N(0,1)\sqrt{I_n}(\hat\theta-\theta_0)\dot\sim N(0,1), 所以其平方近似 χ12\chi^2_1。

多个参数与多个限制

若原假设施加 qq 个独立光滑限制,局部白化后有 qq 个正态方向被限制, 对应的平方和给出 G2=−2log⁡Λ→H0dχq2.{G^2=-2\log\Lambda\xrightarrow[H_0]{d}\chi^2_q.} 这是 Wilks 型结论,需要固定维数、内部真实参数、可识别性、非退化信息等正则条件。 它在原假设或局部备择附近依赖良好的局部二次近似。

Neyman–Pearson 和 Wilks 回答不同的问题
Neyman–Pearson:在两个已指定分布之间,给定大小的检验怎样最有力?这是有限样本最优性。 Wilks:某类复合模型的 −2log⁡Λ-2\log\Lambda 在原假设下用什么大样本分布校准?这是渐近分布。 前者不需要正态近似,后者也不自动赋予一般 GLR 最强力性质。

边界、混合模型、完全分离及高维参数增长等情形,可能不满足这一简单的卡方结论。

更深一层:KL 控制检验错误下降的指数

这一节是选读。考虑独立同分布样本,H0=P0H_0=P_0、H1=P1H_1=P_1, 第一类错误限制为固定 0<α<10<\alpha<1。记 βn*(α)\beta_n^*(\alpha) 为可达到的最小第二类错误。 为使下面的初等证明直接成立,假设两密度在共同支持集上为正,且 log⁡(f0/f1)\log(f_0/f_1) 在 P0P_0 下可积,K=DKL(P0‖P1)<∞K=D_{\mathrm{KL}}(P_0\Vert P_1)<\infty。Chernoff–Stein 结论为 limn→∞−1nlog⁡βn*(α)=DKL(P0‖P1).{\lim_{n\to\infty}-\frac1n\log\beta_n^*(\alpha) =D_{\mathrm{KL}}(P_0\Vert P_1).} 注意方向是 P0‖P1P_0\Vert P_1:虽然第二类错误在 P1P_1 下计算, 接受区域却必须容纳至少 1−α1-\alpha 的 P0P_0 概率。

上界:构造一个满足要求的接受区域

令 K=DKL(P0‖P1)K=D_{\mathrm{KL}}(P_0\Vert P_1),Tn=log⁡(f0(n)/f1(n))T_n=\log(f_0^{(n)}/f_1^{(n)})。 由大数定律,Tn/n→KT_n/n\to K 在 P0P_0 下成立。给定 ϵ>0\epsilon>0,取 An={Tn≥n(K−ϵ)}A_n=\{T_n\ge n(K-\epsilon)\} 为接受 H0H_0 的区域。 其 P0P_0 概率趋于 1,所以充分大时第一类错误不超过 α\alpha。又 P1(An)=𝔼0[e−Tn𝟏An]≤e−n(K−ϵ).P_1(A_n)=\mathbb E_0[e^{-T_n}\mathbf1_{A_n}] \le e^{-n(K-\epsilon)}.

下界:任何合法接受区域都不能无限缩小

对任意 AA 满足 P0(A)≥1−αP_0(A)\ge1-\alpha,令 Bn={Tn≤n(K+ϵ)}B_n=\{T_n\le n(K+\epsilon)\}。则 P0(Bn)→1P_0(B_n)\to1, P1(A)≥𝔼0[e−Tn𝟏A∩Bn]≥e−n(K+ϵ){1−α−o(1)}.P_1(A)\ge\mathbb E_0[e^{-T_n}\mathbf1_{A\cap B_n}] \ge e^{-n(K+\epsilon)}\{1-\alpha-o(1)\}. 随机化规则可用接受概率替换指示函数,同样成立。取对数、除以 nn,再令 ϵ↓0\epsilon\downarrow0, 两边给出同一个指数 KK。

这不是有限样本的精确错误公式 结论说明指数阶 βn*=exp⁡{−nK+o(n)}\beta_n^*=\exp\{-nK+o(n)\},不等于每个 nn 都精确满足 βn*=e−nK\beta_n^*=e^{-nK}。它也不同于同时对称地优化两类错误的准则。

Deviance:把广义似然比的参照换成饱和模型

对一份固定数据 𝒚=(y1,…,yn)\mathbf y=(y_1,\ldots,y_n),记拟合模型为 MM,饱和模型为 SS。 本节先固定共同尺度及其他非均值参数,只对均值结构最大化似然。 饱和模型给每个观测自己的均值参数;在常见指数族中,最优均值为 μ̃i=yi\tilde\mu_i=y_i, 必要时取参数空间边界的极限。 ΛM=supMLsupSL,DM*=−2log⁡ΛM=2(ℓsat−ℓ̂M).\Lambda_M=\frac{\sup_{M}L}{\sup_{S}L},\qquad {D_M^*=-2\log\Lambda_M=2(\ell_{\mathrm{sat}}-\hat\ell_M).} 它衡量:当前模型的约束使最大对数似然相对于逐点最佳拟合损失了多少。

为什么总是非负?

M⊂SM\subset S,所以 ℓ̂M≤ℓsat\hat\ell_M\le\ell_{\mathrm{sat}}。 若某个拟合恰好达到所有饱和均值,DM*=0D_M^*=0;否则通常为正。 饱和模型提供拟合上限,不自动是值得用于预测的模型。

延续课件的尺度约定

共同尺度为 aa 时,本讲义使用 D=aD*,D*=D/a.{D=aD^*,\qquad D^*=D/a.} D*D^* 是 −2log⁡Λ-2\log\Lambda;课件称 DD 为未缩放的 deviance。 Poisson 和普通二项模型 a=1a=1,两个量相等。 正态模型 a=σ2a=\sigma^2,则 D=RSSD=\mathrm{RSS},D*=RSS/σ2D^*=\mathrm{RSS}/\sigma^2。

两个嵌套模型的偏差差值

若 M0⊂M1⊂SM_0\subset M_1\subset S,使用相同数据、分布族和固定尺度, D0*−D1*=2{(ℓS−ℓ̂0)−(ℓS−ℓ̂1)}=2(ℓ̂1−ℓ̂0)=G2,\begin{align*} D_0^*-D_1^* &=2\{(\ell_S-\hat\ell_0)-(\ell_S-\hat\ell_1)\}\\ &=2(\hat\ell_1-\hat\ell_0)=G^2, \end{align*} 所以 G2=(D0−D1)/aG^2=(D_0-D_1)/a。饱和似然在相减时消失。

定义本身不包含“服从卡方”的保证 偏差的定义是似然差。其总量对 χn−k2\chi^2_{n-k} 的近似,还需额外条件。 固定维数的两个模型之间可用 Wilks,不意味着与维数随 nn 增长的饱和模型比较也自动可用。

最直观的精确等式:多项频数的 G2=2nKLG^2=2n\,\mathrm{KL}

观察 mm 个类别,频数为 n1,…,nmn_1,\ldots,n_m,总数 n=∑jnjn=\sum_jn_j。 候选概率向量为 q=(q1,…,qm)q=(q_1,\ldots,q_m),饱和概率估计为 p̂j=nj/n\hat p_j=n_j/n。

第 1 步:写出两个多项似然

L(q)=n!∏jnj!∏jqjnj,L(p̂)=n!∏jnj!∏jp̂jnj.L(q)=\frac{n!}{\prod_jn_j!}\prod_jq_j^{n_j},\qquad L(\hat p)=\frac{n!}{\prod_jn_j!}\prod_j\hat p_j^{n_j}. 相除后,多项系数消去。于是 G2=2{ℓ(p̂)−ℓ(q)}=2∑jnjlog⁡p̂jqj=2n∑jp̂jlog⁡p̂jqj=2nDKL(P̂‖Q).\begin{align*} G^2 &=2\{\ell(\hat p)-\ell(q)\} =2\sum_jn_j\log\frac{\hat p_j}{q_j}\\ &=2n\sum_j\hat p_j\log\frac{\hat p_j}{q_j} ={2nD_{\mathrm{KL}}(\hat P\Vert Q)}. \end{align*}

第 2 步:解释每个系数从哪里来

KL 是一次类别试验的平均对数得分损失;nn 把它变成全部试验的总损失; 2 是似然比统计量的尺度约定。方向为经验分布在左、候选分布在右。

完整数值例子

取频数 (10,20,30)(10,20,30),n=60n=60,检验三个类别等概率 qj=1/3q_j=1/3。 则 p̂=(1/6,1/3,1/2)\hat p=(1/6,1/3,1/2), DKL(P̂‖Q)=16log⁡12+13log⁡1+12log⁡32=0.0872080,D_{\mathrm{KL}}(\hat P\Vert Q)=\frac16\log\frac12+ \frac13\log1+\frac12\log\frac32=0.0872080, G2=2{10log12+20log1+30log32}=10.464963=120DKL(P̂‖Q).G^2=2\left\{10\log\frac12+20\log1+30\log\frac32\right\} =10.464963=120D_{\mathrm{KL}}(\hat P\Vert Q). 对于固定三个类别、所有原假设概率为正且样本充分大,通常以 χ22\chi^2_2 校准, 因概率和为 1,使饱和模型只有两个自由参数。

这里的“经验 KL”有明确的共同样本空间
两边都是类别集合 {1,2,3}\{1,2,3\} 上的概率分布。 不能把类别概率的 KL 与另一种样本空间上的密度 KL 混为一谈,也不能把 nn 再乘一次。

一般指数族:为什么 deviance 等于模型间的 KL?

固定共同尺度 a>0a>0,考虑同一指数族 fθ(z)=exp⁡{zθ−b(θ)a+c(z,a)},𝔼θZ=b′(θ)=μ.f_\theta(z)=\exp\left\{\frac{z\theta-b(\theta)}a+c(z,a)\right\}, \qquad \mathbb E_\theta Z=b'(\theta)=\mu. 取两个成员 fθsf_{\theta_s} 与 fθmf_{\theta_m},下标分别代表 saturated 和 model。

第 1 步:先求对数密度比,再取期望

log⁡fθs(Z)fθm(Z)=Z(θs−θm)−b(θs)+b(θm)a.\log\frac{f_{\theta_s}(Z)}{f_{\theta_m}(Z)} =\frac{Z(\theta_s-\theta_m)-b(\theta_s)+b(\theta_m)}a. c(z,a)c(z,a) 因族与尺度相同而相消。对左边的分布取期望: DKL(fθs‖fθm)=b′(θs)(θs−θm)−b(θs)+b(θm)a.D_{\mathrm{KL}}(f_{\theta_s}\Vert f_{\theta_m}) =\frac{b'(\theta_s)(\theta_s-\theta_m)-b(\theta_s)+b(\theta_m)}a.

第 2 步:饱和均值把期望换成观测值

对已观察到的 yiy_i,取饱和均值 b′(θ̃i)=yib'(\tilde\theta_i)=y_i,拟合参数为 θ̂i\hat\theta_i。 于是 2DKL(fθ̃i‖fθ̂i)=2a{yi(θ̃i−θ̂i)−b(θ̃i)+b(θ̂i)}=dia.2D_{\mathrm{KL}}(f_{\tilde\theta_i}\Vert f_{\hat\theta_i}) =\frac2a\{y_i(\tilde\theta_i-\hat\theta_i)-b(\tilde\theta_i)+b(\hat\theta_i)\} =\frac{d_i}a. 逐点相加得 D*=Da=2∑iDKL(fθ̃i‖fθ̂i).{D^*=\frac Da =2\sum_iD_{\mathrm{KL}}(f_{\tilde\theta_i}\Vert f_{\hat\theta_i}).} 观测独立时,右侧的和也等于两个乘积分布之间 KL 的两倍。

这个等式精确,但要读清楚左右两边的对象 先固定数据,再把“饱和拟合”和“受限拟合”看作两个概率模型,计算它们之间的 KL。 这不表示饱和模型就是真实分布,也不表示把观测点组成的经验分布当作左边总能得到同一个 KL。 边界均值要取适当极限;若左右使用不同尺度,cc 一般不再相消。

这个证明没有使用 η=θ\eta=\theta:canonical link 并不是该等式成立的必要条件。 链接只限制允许出现的拟合均值向量;同族同尺度的逐点 KL 公式仍然成立。

Poisson:KL 的公式就是单位偏差的一半

设 P=Pois⁡(λ)P=\operatorname{Pois}(\lambda)、Q=Pois⁡(μ)Q=\operatorname{Pois}(\mu),其中 λ,μ>0\lambda,\mu>0。 log⁡p(Z)q(Z)=Zlog⁡λμ−λ+μ.\log\frac{p(Z)}{q(Z)}=Z\log\frac\lambda\mu-\lambda+\mu. 由于 𝔼PZ=λ\mathbb E_P Z=\lambda, DKL(Pois⁡(λ)‖Pois⁡(μ))=λlog⁡λμ−λ+μ.{D_{\mathrm{KL}}(\operatorname{Pois}(\lambda)\Vert\operatorname{Pois}(\mu)) =\lambda\log\frac\lambda\mu-\lambda+\mu.} 把饱和均值 λ=y\lambda=y 代入,正好得到 d(y,μ)=2{ylogyμ−y+μ}=2DKL(Pois⁡(y)‖Pois⁡(μ)).d(y,\mu)=2\left\{y\log\frac y\mu-y+\mu\right\}=2D_{\mathrm{KL}}(\operatorname{Pois}(y)\Vert\operatorname{Pois}(\mu)). Poisson 的 a=1a=1,因此 D=D*D=D^*。

零计数怎样处理?

Pois⁡(0)\operatorname{Pois}(0) 退化在零点,故 DKL(Pois⁡(0)‖Pois⁡(μ))=log⁡1Q(Z=0)=μ,d(0,μ)=2μ.D_{\mathrm{KL}}(\operatorname{Pois}(0)\Vert\operatorname{Pois}(\mu)) =\log\frac1{Q(Z=0)}=\mu, \quad d(0,\mu)=2\mu. 这与 ylog⁡y→0y\log y\to0 的极限一致。反向的 KL 通常为无穷大,因为 Pois⁡(μ)\operatorname{Pois}(\mu) 在正整数上有概率,而 Pois⁡(0)\operatorname{Pois}(0) 没有。

三行数据的手算

给定观测 y=(0,2,4)y=(0,2,4) 和候选均值 μ=(1,2,3)\mu=(1,2,3), KLi=(1,0,4log(4/3)−1)=(1,0,0.150728),\mathrm{KL}_i=\left(1,\ 0,\ 4\log(4/3)-1\right) =(1,0,0.150728), D=2∑iKLi=2.301457.D=2\sum_i\mathrm{KL}_i=2.301457. 这里演示偏差函数在给定均值处的值,不声称这组候选均值一定是某个回归模型的 MLE。

“饱和 Poisson”与“观测点的点质量”不同 当 y=2y=2 时,饱和分布是 Pois⁡(2)\operatorname{Pois}(2),不是总输出 2 的 δ2\delta_2。 DKL(δ2‖Pois⁡(μ))=−log⁡q(2)D_{\mathrm{KL}}(\delta_2\Vert\operatorname{Pois}(\mu))=-\log q(2), 而 Poisson 偏差还减去了饱和对数似然,二者通常不同。

二项与 Bernoulli:nn 到底应该出现在哪里?

对一次 Bernoulli 试验,成功率分别为 s,ps,p, DKL(Ber⁡(s)‖Ber⁡(p))=slog⁡sp+(1−s)log⁡1−s1−p.D_{\mathrm{KL}}(\operatorname{Ber}(s)\Vert\operatorname{Ber}(p)) =s\log\frac sp+(1-s)\log\frac{1-s}{1-p}. 若 S∼Bin⁡(n,p)S\sim\operatorname{Bin}(n,p) 是 nn 次独立试验的成功总数,则 DKL(Bin⁡(n,s)‖Bin⁡(n,p))=nDKL(Ber⁡(s)‖Ber⁡(p)).D_{\mathrm{KL}}(\operatorname{Bin}(n,s)\Vert\operatorname{Bin}(n,p)) =nD_{\mathrm{KL}}(\operatorname{Ber}(s)\Vert\operatorname{Ber}(p)). 可直接在二项对数比中使用 𝔼sS=ns\mathbb E_sS=ns 验证;两个二项系数相消。

给定总数 S=sobsS=s_{\mathrm{obs}},饱和估计是成功比例

令 p̂=sobs/n\hat p=s_{\mathrm{obs}}/n,则 G2=2{ℓ(p̂)−ℓ(p0)}=2{sobslogp̂p0+(n−sobs)log1−p̂1−p0}=2nDKL(Ber⁡(p̂)‖Ber⁡(p0))=2DKL(Bin⁡(n,p̂)‖Bin⁡(n,p0)).\begin{align*} G^2 &=2\{\ell(\hat p)-\ell(p_0)\}\\ &=2\left\{s_{\mathrm{obs}}\log\frac{\hat p}{p_0} +(n-s_{\mathrm{obs}})\log\frac{1-\hat p}{1-p_0}\right\}\\ &=2nD_{\mathrm{KL}}(\operatorname{Ber}(\hat p)\Vert\operatorname{Ber}(p_0))\\ &=2D_{\mathrm{KL}}(\operatorname{Bin}(n,\hat p)\Vert\operatorname{Bin}(n,p_0)). \end{align*} 写第一种 KL 时乘 nn;写第二种时不能再乘 nn。 对于 n=10,S=8,p0=0.5n=10,S=8,p_0=0.5, G2=20{0.8log⁡1.6+0.2log⁡0.4}=3.854895.G^2=20\{0.8\log1.6+0.2\log0.4\}=3.854895.

若把每次 Bernoulli 分别视为一行数据

逐行饱和模型允许各 pi=yi∈{0,1}p_i=y_i\in\{0,1\},所以饱和对数似然为 0。 这时同一个共同概率模型 pp 的总残差偏差为 D(p)=−2{Slog⁡p+(n−S)log⁡(1−p)}.D(p)=-2\{S\log p+(n-S)\log(1-p)\}. 它不等于上面的分组二项残差偏差,因为饱和参照不同。 但比较共同概率 p0p_0 与共同概率 p̂\hat p 时,D(p0)−D(p̂)=G2D(p_0)-D(\hat p)=G^2 仍相同。

先交代数据单位,再交代 KL 和 deviance
一次 Bernoulli、一个二项总数、一个逐行饱和模型,是三个不同的统计对象。 模型比较的似然比可以一致,但“每次试验的信息量”和“总残差偏差”不能不加区分地互换。

正态模型:平方误差为什么也是 KL?

取 P=N(m,σ2)P=N(m,\sigma^2)、Q=N(μ,σ2)Q=N(\mu,\sigma^2),保持同一个正方差。 log⁡p(Z)q(Z)=(Z−μ)2−(Z−m)22σ2.\log\frac{p(Z)}{q(Z)} =\frac{(Z-\mu)^2-(Z-m)^2}{2\sigma^2}. 在 PP 下,𝔼(Z−μ)2=σ2+(m−μ)2\mathbb E(Z-\mu)^2=\sigma^2+(m-\mu)^2,故 DKL(N(m,σ2)‖N(μ,σ2))=(m−μ)22σ2.{D_{\mathrm{KL}}(N(m,\sigma^2)\Vert N(\mu,\sigma^2)) =\frac{(m-\mu)^2}{2\sigma^2}.} 饱和均值取 m=yim=y_i,于是 D*=2∑iDKL(N(yi,σ2)‖N(μ̂i,σ2))=∑i(yi−μ̂i)2σ2,D^*=2\sum_iD_{\mathrm{KL}}(N(y_i,\sigma^2)\Vert N(\hat\mu_i,\sigma^2)) =\frac{\sum_i(y_i-\hat\mu_i)^2}{\sigma^2}, D=RSS,D*=D/σ2.{D=\mathrm{RSS},\qquad D^*=D/\sigma^2.} 因此在固定方差的正态族内,最小二乘、最大似然和最小化上述模型间 KL 和给出同一拟合。

与前面讲义的三点数据接起来

取 x=(0,1,2)x=(0,1,2),y=(1,2,4)y=(1,2,4)。拟合截距与斜率得到 𝜷̂=(5/6,3/2)𝖳,RSS=1/6.\hat{\boldsymbol\beta}=(5/6,3/2)^\mathsf T,\qquad \mathrm{RSS}=1/6. 若已知 σ2=2\sigma^2=2,则 D=1/6D=1/6,D*=1/12D^*=1/12,而逐点 KL 的总和为 1/241/24。

方差也要估计时,哪些公式必须改变?

若各模型分别最大化未知 σ2\sigma^2,正态模型的实际 LR 为 G2=nlog⁡RSS0RSS1,G^2=n\log\frac{\mathrm{RSS}_0}{\mathrm{RSS}_1}, 不能任意取一个方差估计,把 RSS 差除以它便称为精确 LR。 上例截距模型 RSS0=14/3\mathrm{RSS}_0=14/3,线性模型 RSS1=1/6\mathrm{RSS}_1=1/6, 所以 G2=3log⁡28=9.996614G^2=3\log28=9.996614。

饱和模型的方差不能一起放到零 若每个均值均取 yiy_i,再允许 σ2↓0\sigma^2\downarrow0,正态似然无界。 本页的饱和比较始终固定同一正方差;不能把无界的联合饱和最大似然带进公式。

偏差之差也等于两个拟合模型之间的 KL 吗?

一般情况下,已知 G2=D0*−D1*=2∑i{DKL(Si‖M0i)−DKL(Si‖M1i)},G^2=D_0^*-D_1^* =2\sum_i\{D_{\mathrm{KL}}(S_i\Vert M_{0i})-D_{\mathrm{KL}}(S_i\Vert M_{1i})\}, 并不能仅靠相减就改写成 2∑iDKL(M1i‖M0i)2\sum_iD_{\mathrm{KL}}(M_{1i}\Vert M_{0i})。 KL 不是普通距离,通常没有这种减法法则。但在一个重要特例下确实成立。

嵌套 canonical GLM 中的精确抵消

设两个模型同族、同固定尺度 aa,canonical 参数分别为 θ̂1=X1𝜷̂1\hat\theta_1=X_1\hat{\boldsymbol\beta}_1、θ̂0=X0𝜷̂0\hat\theta_0=X_0\hat{\boldsymbol\beta}_0,且 𝒞(X0)⊂𝒞(X1)\mathcal C(X_0)\subset\mathcal C(X_1)。 完整模型的内部 MLE 满足 X1𝖳(𝒚−𝝁̂1)=0.X_1^\mathsf T(\mathbf y-\hat{\boldsymbol\mu}_1)=0. 而 θ̂1−θ̂0\hat\theta_1-\hat\theta_0 属于 X1X_1 的列空间,故 ∑i(yi−μ̂1i)(θ̂1i−θ̂0i)=0.\sum_i(y_i-\hat\mu_{1i})(\hat\theta_{1i}-\hat\theta_{0i})=0. 将两个量相减,恰好出现这一项: ℓ̂1−ℓ̂0=1a∑i{yi(θ̂1i−θ̂0i)−b(θ̂1i)+b(θ̂0i)},∑iDKL(M1i‖M0i)=1a∑i{μ̂1i(θ̂1i−θ̂0i)−b(θ̂1i)+b(θ̂0i)}.\begin{align*} \hat\ell_1-\hat\ell_0 &=\frac1a\sum_i\{y_i(\hat\theta_{1i}-\hat\theta_{0i}) -b(\hat\theta_{1i})+b(\hat\theta_{0i})\},\\ \sum_iD_{\mathrm{KL}}(M_{1i}\Vert M_{0i}) &=\frac1a\sum_i\{\hat\mu_{1i}(\hat\theta_{1i}-\hat\theta_{0i}) -b(\hat\theta_{1i})+b(\hat\theta_{0i})\}. \end{align*} 因此在这些条件下, G2=2∑iDKL(M1i‖M0i).{G^2=2\sum_iD_{\mathrm{KL}}(M_{1i}\Vert M_{0i}).}

把两个结论分开记
饱和模型到拟合模型的逐点 KL 等式,不要求 canonical link。 两个受限拟合模型之间也要建立上述等式,则需要额外条件;这里的 canonical、嵌套与得分正交性 给出了一组充分条件。非 canonical 时不能未经核对就照搬,但也不能断言永远不成立。

再沿参数链走一遍:KL 的局部曲率就是 Fisher 信息

本节把前面几章的 θ,μ,η,𝜷\theta,\mu,\eta,\boldsymbol\beta 接回来。固定尺度 aa, 以 θ\theta 为左边的参考分布、θ+δθ\theta+\delta\theta 为右边的邻近分布。 DKL(fθ‖fθ+δθ)=b(θ+δθ)−b(θ)−b′(θ)δθa.D_{\mathrm{KL}}(f_\theta\Vert f_{\theta+\delta\theta}) =\frac{b(\theta+\delta\theta)-b(\theta)-b'(\theta)\delta\theta}a.

第 1 步:一阶项抵消,留下二阶曲率

Taylor 展开 bb,得到 DKL(fθ‖fθ+δθ)=b″(θ)2a(δθ)2+o((δθ)2).D_{\mathrm{KL}}(f_\theta\Vert f_{\theta+\delta\theta}) =\frac{b''(\theta)}{2a}(\delta\theta)^2+o((\delta\theta)^2). 因为 b″(θ)=V(μ)b''(\theta)=V(\mu),且 dμ/dθ=V(μ)d\mu/d\theta=V(\mu), δμ≈V(μ)δθ,DKL≈(δμ)22aV(μ).\delta\mu\approx V(\mu)\delta\theta, \qquad D_{\mathrm{KL}}\approx\frac{(\delta\mu)^2}{2aV(\mu)}.

第 2 步:把均值误差继续传回回归系数

由 η=g(μ)=𝒙𝖳𝜷\eta=g(\mu)=\mathbf x^\mathsf T\boldsymbol\beta, δμ≈δηg′(μ)=𝒙𝖳δ𝜷g′(μ).\delta\mu\approx\frac{\delta\eta}{g'(\mu)} =\frac{\mathbf x^\mathsf T\delta\boldsymbol\beta}{g'(\mu)}. 独立观测的信息相加,给出 ∑iDKL(fi(𝜷)‖fi(𝜷+δ𝜷))≈12a∑i(𝒙i𝖳δ𝜷)2V(μi){g′(μi)}2=12δ𝜷𝖳(1aX𝖳WX)⏟I(𝜷)δ𝜷.\begin{align*} \sum_iD_{\mathrm{KL}}(f_i(\boldsymbol\beta)\Vert f_i(\boldsymbol\beta+\delta\boldsymbol\beta)) &\approx\frac1{2a}\sum_i \frac{(\mathbf x_i^\mathsf T\delta\boldsymbol\beta)^2}{V(\mu_i)\{g'(\mu_i)\}^2}\\ &=\frac12\delta\boldsymbol\beta^\mathsf T \underbrace{\left(\frac1aX^\mathsf TWX\right)}_{I(\boldsymbol\beta)}\delta\boldsymbol\beta. \end{align*} 这里 W=diag⁡(w1,…,wn)W=\mathop{\mathrm{diag}}(w_1,\ldots,w_n),wi=[V(μi){g′(μi)}2]−1w_i=[V(\mu_i)\{g'(\mu_i)\}^2]^{-1}。

为什么信息矩阵同时出现在估计、检验和 KL 中?
它衡量邻近参数对应的分布有多容易区分。相同的参数位移,若沿信息大的方向发生, KL 增加较多;参数估计在该方向上的方差通常较小。 Wald 的二次型、LR 的局部二次近似与 KL 的局部曲率因此共享同一个矩阵。

这个式子描述局部近似;它不把全局非对称的 KL 变成全局欧氏距离。

看图:KL 的方向、deviance 的尺度与局部近似

固定观察比例 p̂=0.8\hat p=0.8、n=10n=10,让候选概率 pp 改变。

kl_deviance.png
图 2:Bernoulli 的 KL(每个试验,单位 nats)与二项计数的偏差:后者是前者的 2n 倍。局部二次近似以 p̂ = 0.8 为中心,仅在 0.8 附近准确,并非对 p 一致成立。

左图:交换左右分布,就改变了取平均的方式

两条曲线都是非负的,并且只在 p=0.8p=0.8 时为零,但离开该点后不重合。 DKL(Ber⁡(0.8)‖Ber⁡(p))D_{\mathrm{KL}}(\operatorname{Ber}(0.8)\Vert\operatorname{Ber}(p)) 以 0.8 和 0.2 加权;反向 KL 则以 pp 和 1−p1-p 加权。

右图:为什么 deviance 在 MLE 附近像平方距离?

本例的精确统计量为 G2(p)=20DKL(Ber⁡(0.8)‖Ber⁡(p)).G^2(p)=20D_{\mathrm{KL}}(\operatorname{Ber}(0.8)\Vert\operatorname{Ber}(p)). 在 p=0.8p=0.8 处,一阶导为零,Fisher 信息为 n/[p(1−p)]n/[p(1-p)]。因此 G2(p)≈10(p−0.8)20.8(1−0.8).G^2(p)\approx\frac{10(p-0.8)^2}{0.8(1-0.8)}. 在 p=0.5p=0.5 处,精确值为 3.8548953.854895,二次近似为 5.6255.625。 候选值离 MLE 不近时,不能把局部近似当成恒等式。

同一个统计量的近似校准也可能不够准确 若把本例的 G2=3.854895G^2=3.854895 代入 χ12\chi^2_1,得到近似 p=0.049601p=0.049601。 但按双侧 GLR 排序直接枚举 Bin⁡(10,0.5)\operatorname{Bin}(10,0.5) 的精确尾概率为 0.1093750.109375。 小样本、离散取值与近似误差足以造成差别;这不是 NP 引理或 KL 等式失效。

可选的统一表达:偏差来自凸函数的切线误差

在一参数指数族内部,定义 bb 的凸共轭 F(μ)=μθ(μ)−b(θ(μ)),θ(μ)=(b′)−1(μ).F(\mu)=\mu\theta(\mu)-b(\theta(\mu)), \qquad \theta(\mu)=(b')^{-1}(\mu). 逐项求导,利用 b′(θ(μ))=μb'(\theta(\mu))=\mu,有 F′(μ)=θ(μ),F″(μ)=1V(μ)>0.F'(\mu)=\theta(\mu),\qquad F''(\mu)=\frac1{V(\mu)}>0. 因此 FF 是凸函数。把函数值与它在 μ\mu 处的切线比较,得到 F(y)−F(μ)−F′(μ)(y−μ)=yθ(y)−b(θ(y))−μθ(μ)+b(θ(μ))−θ(μ)(y−μ)=y{θ(y)−θ(μ)}−b(θ(y))+b(θ(μ))=12d(y,μ).\begin{align*} F(y)-F(\mu)-F'(\mu)(y-\mu) &=y\theta(y)-b(\theta(y))-\mu\theta(\mu)+b(\theta(\mu))\\ &\quad-\theta(\mu)(y-\mu)\\ &=y\{\theta(y)-\theta(\mu)\}-b(\theta(y))+b(\theta(\mu))\\ &=\frac12d(y,\mu). \end{align*}

这解释了什么?

凸函数位于任意切线之上,所以单位偏差非负。 函数本身与在某点画出的切线扮演不同角色,这也解释了通常的不对称性。 该表达常称为均值空间上的 Bregman 散度;不需要记这个名称也能使用上面的推导。

分布族 可取的 F(μ)F(\mu) d(y,μ)/2d(y,\mu)/2
正态,V=1V=1 μ2/2\mu^2/2 (y−μ)2/2(y-\mu)^2/2
Poisson μlog⁡μ−μ\mu\log\mu-\mu ylog⁡(y/μ)−y+μy\log(y/\mu)-y+\mu
Bernoulli μlog⁡μ+(1−μ)log⁡(1−μ)\mu\log\mu+(1-\mu)\log(1-\mu) DKL(Ber⁡(y)‖Ber⁡(μ))D_{\mathrm{KL}}(\operatorname{Ber}(y)\Vert\operatorname{Ber}(\mu))

表中 Bernoulli 的 y=0,1y=0,1 以边界极限解释;FF 加上仿射项不会改变结果。

回到最初的问题
似然差、KL 与平方误差不是三个互不相关的技巧。 在指数族里,它们都与同一个凸函数 bb 或其均值参数表达 FF 相连; 平方误差是正态族的精确形式,也是其他光滑模型的局部二次近似。

历史(一):从似然到检验的最优性与标定

先分清历史顺序与讲解顺序
本讲义用同一个对数密度比串起几个概念,是为了看清数学关系。历史上,它们分别回应参数估计、错误概率控制、通信和模型拟合等问题;不能把今天的推导顺序当作当年的发明顺序。

1922:Fisher——观察到数据以后,如何比较参数?

Fisher 的论文系统讨论参数、统计量、估计和充分性。第326–327页明确区分:给定参数时数据的概率,与固定已观测数据后各参数值的相对似然。用今天的记号, L(ϑ;y)=fϑ(y),ϑ̂∈arg⁡maxϑL(ϑ;y).L(\vartheta;y)=f_{\vartheta}(y),\qquad \hat\vartheta\in\arg\max_{\vartheta}L(\vartheta;y). 这里的问题是如何估计参数;L(ϑ;y)L(\vartheta;y) 本身不是参数的概率分布。1922年是这套理论的重要系统阐述,并不意味着此前无人使用极大似然思想。

原始文献:Fisher (1922), Mathematical Foundations,尤其第6节。

1928:Neyman–Pearson——用似然比较假设

两人开始系统研究检验准则、备择假设和两类错误。Part I 第187–190页的例子已把受限制模型的最大似然与更大模型的最大似然作比,得到今天熟悉的似然比形式。构造出一个自然准则,与证明它最优,是两个步骤。原文也没有把所有此类准则都宣称为最优。

原始文献:Neyman–Pearson (1928), Certain Test Criteria, Part I。

1933:Neyman–Pearson——在固定错误预算下怎样最强?

第298–301页研究简单假设 P0P_0 对简单备择 P1P_1:固定第一类错误概率后,选择使拒绝概率在 P1P_1 下最大的拒绝域。结论给出似然比阈值规则;用现代记号概括为 maxφ:𝔼0φ≤α𝔼1φ,φ*(y)=𝟏{f1(y)f0(y)>c}(必要时边界随机化)。\max_{\varphi:\,\mathbb E_0\varphi\leq\alpha}\mathbb E_1\varphi, \qquad \varphi^*(y)=\mathbf1\!\left\{\frac{f_1(y)}{f_0(y)}>c\right\} \quad\text{(必要时边界随机化)。} 这是检验功效的最优性。复合备择中的不同方向可能要求不同拒绝域,因此不能推出“一般 GLR 都一致最强力”。

原始文献:Neyman–Pearson (1933), Most Efficient Tests,第III节。

1938:Wilks——有了似然比,临界值从哪里来?

Wilks 研究复合假设下似然比的大样本分布。现代常用表述是:在适当正则条件、固定维数及内点真值下,嵌套模型的 −2log⁡Λ-2\log\Lambda 渐近服从自由度等于维数差的 χ2\chi^2 分布。这回答如何标定显著性,与 NP 的有限样本功效最优性是不同结论。

原始文献:Wilks (1938), Large-Sample Distribution of the Likelihood Ratio。

历史(二):信息论与 GLM 的汇合

1948:Shannon——通信中的不确定性与编码极限

Shannon 研究消息怎样通过信道传输、噪声如何限制通信,以及消息的统计结构能节省多少编码长度。对离散分布,他系统发展了对数形式的熵 H(P)=−∑xp(x)log⁡p(x).H(P)=-\sum_xp(x)\log p(x). 这是信息论中的基本量。它与本讲义的交叉熵、平均对数损失有自然联系,但不应倒过来说,1933年的 NP 引理是从1948年的 Shannon 理论推出来的。

原始文献:Shannon (1948), A Mathematical Theory of Communication,尤其第6节。

1951:Kullback–Leibler——区分分布需要多少信息?

On Information and Sufficiency 将信息度量与统计分布的区分、充分统计量联系起来。今天记作 KL 散度的量为 DKL(P‖Q)=𝔼P[logp(Y)q(Y)].D_{\mathrm{KL}}(P\Vert Q)=\mathbb E_P\!\left[\log\frac{p(Y)}{q(Y)}\right]. 对数似然比是某次观测的统计量;KL 是在指定分布下对该量取总体平均。所以 KL 并不是把 NP 检验换一个名字:一个描述平均辨别信息,另一个规定如何在第一类错误约束下分配拒绝域。

原始文献:Kullback–Leibler (1951), On Information and Sufficiency。本讲义采用今天通行的非对称 KL 记号。

1972:Nelder–Wedderburn——统一 GLM 的拟合比较

他们将若干回归模型放入广义线性模型框架,讨论指数族、链接函数、迭代拟合及模型比较。第375页明确提出将以完整模型为参照的似然失配量称为 deviance,原文用语是“which we propose to call the deviance”。按本讲义的记号,这个参照思想写成 D*=2{ℓsat−ℓfit}.D^*=2\{\ell_{\mathrm sat}-\ell_{\mathrm fit}\}. 其出发点是最大化后的似然及其完整模型参照。本讲义随后证明的 KL 表达式展示数学联系,不是断言原作者按“先 KL、后 deviance”的路线发明它。

原始文献:Nelder–Wedderburn (1972), Generalized Linear Models,第375页。

阅读历史文献时还要核对尺度约定 1972年论文中,正态例子的 deviance 是 RSS/σ2\mathrm{RSS}/\sigma^2。本讲义沿用课程约定,将不含共同尺度的量记作 DD,而 D*=D/aD^*=D/a 是含尺度的似然比量(固定共同尺度时)。例如 D=RSSD=\mathrm{RSS}、D*=RSS/σ2D^*=\mathrm{RSS}/\sigma^2。同一个词的约定可能不同,判断时应以公式为准。

把四个概念放回同一条推导链

第一层:一次数据,产生一个似然比

在两个固定分布之间,r(Y)=f1(Y)/f0(Y)r(Y)=f_1(Y)/f_0(Y) 是随机的。 它告诉我们这一次数据相对支持谁;本身不包含显著性水平。 固定 P0,P1→log⁡r(Y)=log⁡f1(Y)−log⁡f0(Y).{\text{固定 }P_0,P_1\quad\longrightarrow\quad \log r(Y)=\log f_1(Y)-\log f_0(Y).}

第二层:两种不同操作,回答两种不同问题

对 rr 的取值排序并选阈值,且约束 𝔼0φ≤α\mathbb E_0\varphi\le\alpha,得到 NP 最强力规则。 对 log⁡r\log r 在指定分布下取期望,则得到有方向的 KL: 𝔼1log⁡r=DKL(P1‖P0),𝔼0log⁡r=−DKL(P0‖P1).\mathbb E_1\log r=D_{\mathrm{KL}}(P_1\Vert P_0),\qquad \mathbb E_0\log r=-D_{\mathrm{KL}}(P_0\Vert P_1).

第三层:允许各模型估计参数,得到 GLR

比较两个嵌套模型各自最好的似然,得到 G2=2(ℓ̂1−ℓ̂0).G^2=2(\hat\ell_1-\hat\ell_0). 这里增加了优化步骤。NP 的两个固定密度不能直接换成随数据最大化的似然包络。 Wilks 在正则条件下提供 G2G^2 的渐近零分布,而不是一般的最强力保证。

第四层:完整模型取饱和模型,得到 deviance

对同族、同固定尺度的一参数指数族,并允许适当的饱和边界极限, D*=2(ℓsat−ℓ̂M)=Da=2∑iDKL(Si‖Mi).{D^*=2(\ell_{\mathrm sat}-\hat\ell_M) =\frac Da=2\sum_iD_{\mathrm{KL}}(S_i\Vert M_i).} 此处左边是已观察数据的拟合统计量,右边是用这份数据拟合出的两个模型之间的 KL。 等式成立的桥梁是 𝔼SiZ=yi\mathbb E_{S_i}Z=y_i,不是把“样本值”和“总体期望”随意互换。

遇到新公式时,按这四步核对
  1. 数据单位是什么:一次 Bernoulli、一个二项总数,还是整个独立样本?

  2. 比较谁与谁:固定分布、各自估计的模型,还是拟合模型与饱和模型?

  3. 计算的是实现值还是期望?若是 KL,左边分布提供什么权重?

  4. 是精确等式还是渐近近似?尺度是否固定,卡方条件是否成立?

代码核对:不用统计包也能复现关键等式

下面的 Python 只用标准库;完整文件为 worked_example.py。 它同时检查 NP 随机化、双侧 GLR 的精确尾概率,以及 G2=2nKLG^2=2n\,\mathrm{KL}。

应看到的主要结果

量 数值
边界随机化概率 γ\gamma 0.89333333
NP size;在 p=0.8p=0.8 下的 power 0.05000000;0.64558727
G2G^2;2nKL2n\,\mathrm{KL} 3.85489514;3.85489514
双侧 GLR 精确尾概率;χ12\chi^2_1 近似 0.10937500;0.04960103

verify_numbers.py 还独立检查 Poisson、正态、多项例子及参数链。 make_figures.R 使用 base R 生成本讲义的两张图,不需额外 R 包。

练习:先判断对象,再做运算

  1. KL 的方向。 设 P0=Ber⁡(0.5)P_0=\operatorname{Ber}(0.5)、P1=Ber⁡(0.8)P_1=\operatorname{Ber}(0.8), rn=∏if1(Yi)/f0(Yi)r_n=\prod_i f_1(Y_i)/f_0(Y_i)。计算 n=10n=10 时的 𝔼1log⁡rn\mathbb E_1\log r_n 与 𝔼0log⁡rn\mathbb E_0\log r_n。说明为什么第二个数为负。

  2. 重新设计 NP 检验。 沿用 S∼Bin⁡(10,p)S\sim\operatorname{Bin}(10,p)、 H0:p=0.5H_0:p=0.5、H1:p=0.8H_1:p=0.8,把水平改成 α=0.10\alpha=0.10。 先确定必拒区域,再求边界随机化概率及 power。

  3. 一次 Bernoulli 与一个二项总数。 当 S=8,n=10,p0=0.5S=8,n=10,p_0=0.5 时,分别写出 DKL(Ber⁡(0.8)‖Ber⁡(0.5)),DKL(Bin⁡(10,0.8)‖Bin⁡(10,0.5)).D_{\mathrm{KL}}(\operatorname{Ber}(0.8)\Vert\operatorname{Ber}(0.5)),\qquad D_{\mathrm{KL}}(\operatorname{Bin}(10,0.8)\Vert\operatorname{Bin}(10,0.5)). 各自要乘什么系数才得到 G2G^2?

  4. Poisson 的零计数。 对 y=0y=0、候选均值 μ=2\mu=2,计算 DKL(Pois⁡(0)‖Pois⁡(2))D_{\mathrm{KL}}(\operatorname{Pois}(0)\Vert\operatorname{Pois}(2))、反向 KL 和单位偏差。 解释零计数为什么不等于零失配。

  5. 正态模型的尺度。 两个嵌套正态均值模型有 RSS0=20\mathrm{RSS}_0=20、 RSS1=12\mathrm{RSS}_1=12,样本量 n=10n=10。若方差已知为 2,计算 LR 统计量。 若方差未知并在两个模型内分别最大化,统计量变成什么?

  6. 辨别错误推理。 逐条说明下列说法为什么不成立: “KL 非负,所以每次对数似然比都非负”; “GLR 使用似然比,所以由 NP 知道它总是最强力”; “残差 deviance 也是 LR,所以由 Wilks 知道它总服从 χn−k2\chi^2_{n-k}”; “D0*−D1*D_0^*-D_1^* 总等于两个拟合分布之间 KL 的两倍”。

解题时不跳过条件 写出一个正确数字,还不够说明理解了公式。请在答案旁标明平均分布、数据单位、尺度约定, 并注明是否使用了渐近近似。下一页给出核对答案。

练习答案与关键理由

  1. 信息可加,故 𝔼1log⁡r10=10(0.192744757)=1.92744757,𝔼0log⁡r10=−10(0.223143551)=−2.23143551.\mathbb E_1\log r_{10}=10(0.192744757)=1.92744757, \quad \mathbb E_0\log r_{10}=-10(0.223143551)=-2.23143551. 原假设为真时,平均证据偏向分母 f0f_0,所以第二个期望为负。

  2. 因为 P0(S≥8)=56/1024<0.10P_0(S\ge8)=56/1024<0.10,但 P0(S≥7)=176/1024>0.10P_0(S\ge7)=176/1024>0.10,必拒区域为 S≥8S\ge8,边界是 S=7S=7。 γ=0.10−56/1024120/1024=2975,power=P1(S≥8)+2975P1(S=7)=0.75564581.\gamma=\frac{0.10-56/1024}{120/1024}=\frac{29}{75}, \quad \mathrm{power}=P_1(S\ge8)+\frac{29}{75}P_1(S=7) =0.75564581. 若仅移动一个整数阈值,通常不能恰好用完 α\alpha 的预算。

  3. Bernoulli KL 为 0.1927447570.192744757,二项 KL 为它的 10 倍,即 1.9274475701.927447570。 前者乘 2n=202n=20,后者只乘 2,均为 3.8548951403.854895140。

  4. Pois⁡(0)\operatorname{Pois}(0) 在 0 处概率为 1,故正向 KL 为 −log⁡(e−2)=2-\log(e^{-2})=2,单位偏差为 4。 反向 KL 为 +∞+\infty:左边在正整数上有质量,右边为零。 观察到 0 不妨碍候选模型给出错误的均值 2,失配依然存在。

  5. 固定方差时 G2=(20−12)/2=4.G^2=(20-12)/2=4. 分别估计未知方差时,σ̂j2=RSSj/n\hat\sigma_j^2=\mathrm{RSS}_j/n,所以 G2=10log⁡(20/12)=5.10825624.G^2=10\log(20/12)=5.10825624. 这两个统计量对应不同的参数约束,不能直接互换。

  6. 非负的期望不要求每个实现值非负;GLR 的最大化似然包络不是 NP 中的固定密度; 饱和模型维数可能随样本量增长,不能直接套固定维数的 Wilks; KL 的差一般不是另一个 KL。最后一种等式在同族同尺度、嵌套 canonical 均值结构、内部 MLE 等充分条件下可由得分正交性证明,不能省略条件。

参考文献与继续阅读

历史部分依据以下原始论文的出版信息与可取得的原文。 正文的符号、随机化检验表达及统一推导采用现代教学记法;它们不等于原论文逐字表述。 点击文献题名可进入 DOI 页面。

Fisher, R. A. (1922). On the Mathematical Foundations of Theoretical Statistics. Philosophical Transactions of the Royal Society A, 222, 309–368. 本讲义主要参照第326–327页关于 probability 与 likelihood 的区别。

Neyman, J., & Pearson, E. S. (1928). On the Use and Interpretation of Certain Test Criteria for Purposes of Statistical Inference, Part I. Biometrika, 20A(1–2), 175–240. 似然比准则的例子见第187–190页。

Neyman, J., & Pearson, E. S. (1933). On the Problem of the Most Efficient Tests of Statistical Hypotheses. Philosophical Transactions of the Royal Society A, 231, 289–337. 简单假设的最优检验讨论见第298–301页。

Wilks, S. S. (1938). The Large-Sample Distribution of the Likelihood Ratio for Testing Composite Hypotheses. The Annals of Mathematical Statistics, 9(1), 60–62. 本讲义给出的是现代常用的正则模型表述与局部二次型解释。

Shannon, C. E. (1948). A Mathematical Theory of Communication. The Bell System Technical Journal, 27, 379–423, 623–656. 后半部分的 DOI。 熵与通信问题为其背景,不应与 NP 引理的历史来源混同。

Kullback, S., & Leibler, R. A. (1951). On Information and Sufficiency. The Annals of Mathematical Statistics, 22(1), 79–86. 信息度量、分布区分与统计充分性之间联系的原始论文。

Nelder, J. A., & Wedderburn, R. W. M. (1972). Generalized Linear Models. Journal of the Royal Statistical Society, Series A, 135(3), 370–384. 第375页提出 deviance 的称呼;原文正态例子的量含方差尺度。

Polyanskiy, Y. (2016). MIT 6.441, Information Theory, Chapter 11: Hypothesis Testing Asymptotics I. 现代补充阅读:Stein 指数及其换测度证明;此项不是历史起源断言。

建议的二次阅读顺序
先重新手算二项例子,再推一般指数族等式;最后读局部 Fisher 信息与 Stein 指数。 每次只问一个问题:此刻是在比较一次数据、取总体平均,还是优化一个模型?

This page was generated by DeepSeek 4.1 Flash from the course source; derivations and numbers are reproduced verbatim.

本页由 DeepSeek 4.1 Flash 依据课程讲义生成,推导与数值均按原讲义保留。