GLM Family Reference: links, weights, MLE and deviance

分布族一览：指数族形式、链接、权重、极大似然与偏差（每个分布一页）

MTH303 Linear Statistical Models
补篇：每个特例的指数族形式、连接与 MLE 对照
Supplement: Exponential-Family Form, Link and MLE, Family by Family
第 4 章 $\times$ 第 5 章的一页式速查与推导
A one-page-per-family bridge between Chapter 4 and Chapter 5
main.pdf（第 4 章）与 ch5_main.pdf（第 5 章）
MTH303 Teaching Group $\cdot$ School of Mathematics and Physics $\cdot$ XJTLU
：verify_families.py

这份补篇解决什么 What this supplement is for

前两份讲义分别讲"分布怎么写成指数族"（第 4 章）与"参数怎么估出来"（第 5 章）。真正做题、写代码、上课板书时，最需要的是把两者按模型对齐的一页：给定一个 GLM，立刻能写出它的 $(\theta,\phi,a,b,V)$ 、连接 $g$ 、权重 $w_i$ 、工作响应 $\xi_i$ 、正规方程与偏差 $D$ 。

本补篇就是这张对齐表。约定：

左半页（指数族） 来自第 4 章： $f$ 、 $\theta$ 、 $\phi$ 、 $a(\phi)$ 、 $b(\theta)$ 、 $c(y;\phi)$ 、 $V(\mu)$ 、典则连接；
右半页（MLE） 来自第 5 章： $\ell(\boldsymbol{\beta})$ 、 $U$ 、 $w_i$ 、 $\xi_i$ 、正规方程、解法、 $D$ ；
每页底部给出该模型在固定数据上的拟合结果（ $\hat{\boldsymbol{\beta}}$ 、迭代步数、 $D$ ），数字由 verify_families.py 计算并交叉验证。

一条主线，三种写法

同一个模型可以写成三种等价的样子，本补篇每页都把三者的"翻译"列出来： $\underbrace{f(y;\theta,\phi)}_{\text{指数族}} \;\xrightarrow{\ \theta=h(\eta)\ }\ \underbrace{\ell(\boldsymbol{\beta})}_{\text{似然}} \;\xrightarrow{\ \nabla\ell=0\ }\ \underbrace{\mathbf{X}^{\top}\mathbf{W}(\boldsymbol{\xi}-\mathbf{X}\boldsymbol{\beta})=\mathbf{0}}_{\text{加权最小二乘形式}} .$ 三者的桥梁是第 4 章的 $(\theta,b,V)$ 与第 5 章的 $(w,\xi)$ ： $w_i=\frac{1}{V(\mu_i)g'(\mu_i)^2},\qquad \xi_i=\eta_i+g'(\mu_i)(y_i-\mu_i).$

目录与索引 Contents

页	模型	连接	特点
§1	九个特例的总表（指数族）	—	一页速查
§2	九个特例的总表（连接与权重）	典则 + 常用	$w_i$ 一览
§3	九个特例的总表（MLE 与偏差）	—	方程与 $D$
§4	正态 $\mathrm{N}(\mu,\sigma^{2})$	恒等	唯一有闭式解
§5	伯努利 $\mathrm{Bernoulli}(\pi)$	logit	二分类
§6	二项 $\mathrm{Binomial}(n,\pi)$	logit	计数/比例
§7	泊松 $\mathrm{Poisson}(\mu)$	对数	计数、 $\sum\hat\mu=\sum y$
§8	伽马 $\mathrm{Gamma}(\mu,\beta)$	对数（常用）	权重退化为 $1$
§9	逆高斯 $\mathrm{IG}(\mu,\lambda)$	对数（常用）	$V=\mu^{3}$ ， $w=1/\mu$
§10	三个"只讲理论"的典则情形	$-\frac{1}{\mu}$ 、 $-\frac{1}{2\mu^{2}}$	需 $\eta<0$
§11	数值核对与常见错误	—	当堂可查

记号与上一份讲义一致

$\mathbf{X}$ 的第 $i$ 行是 $\mathbf{x}_i^{\top}$ （含截距列）， $\boldsymbol{\beta}$ 有 $p+1$ 个分量； $g'=\mathrm{d}g/\mathrm{d}\mu$ ； $w_i$ 是 IRLS 权重（不含 $a(\phi)$ ）； $\xi_i$ 是工作响应； $D$ 是不含 $a(\phi)$ 的偏差； $D^{*}=D/a(\phi)$ 是尺度化偏差。二项一律用计数版（ $Y\in\{0,\dots,n\}$ ， $\mu=n\pi$ ）；比例版见 §6 的脚注。

总表一：七个分布的指数族身份卡 Table 1: the seven distributions（第 4 章）

第二列到第六列是分布本身的属性，与选什么连接无关；最后一列是"若取典则连接，它等于什么"。 $c(y;\phi)$ 单独列在表下，因为它最容易被写错。

分布	$\theta$	$\phi$	$a(\phi)$	$b(\theta)$	$V(\mu)$	典则连接 $g=\theta(\mu)$
$\mathrm{N}(\mu,\sigma^{2})$	$\mu$	$\sigma^{2}$	$\phi$	$\theta^{2}/2$	$1$	$\mu$
$\mathrm{Bernoulli}(\pi)$	$\log\dfrac{\pi}{1-\pi}$	$1$	$1$	$\log(1+e^{\theta})$	$\mu(1-\mu)$	$\log\dfrac{\mu}{1-\mu}$
$\mathrm{Binomial}(n,\pi)$	$\log\dfrac{\pi}{1-\pi}$	$1$	$1$	$n\log(1+e^{\theta})$	$\mu\big(1-\dfrac{\mu}{n}\big)$	$\log\dfrac{\mu}{n-\mu}$
$\mathrm{Poisson}(\mu)$	$\log\mu$	$1$	$1$	$e^{\theta}$	$\mu$	$\log\mu$
$\mathrm{Exp}(\lambda)$	$-\dfrac{1}{\mu}$	$1$	$1$	$-\log(-\theta)$	$\mu^{2}$	$-\dfrac{1}{\mu}$
$\mathrm{Gamma}(\mu,\beta)$	$-\dfrac{1}{\mu}$	$\beta$	$\phi$	$-\log(-\theta)$	$\mu^{2}$	$-\dfrac{1}{\mu}$
$\mathrm{IG}(\mu,\lambda)$	$-\dfrac{1}{2\mu^{2}}$	$\dfrac{1}{\lambda}$	$\phi$	$-\sqrt{-2\theta}$	$\mu^{3}$	$-\dfrac{1}{2\mu^{2}}$

分布	$c(y;\phi)$
$\mathrm{N}(\mu,\sigma^{2})$	$-\dfrac{y^{2}}{2\phi}-\dfrac{1}{2}\log(2\pi\phi)$
$\mathrm{Bernoulli}(\pi)$	$0$
$\mathrm{Binomial}(n,\pi)$	$\log\binom{n}{y}$
$\mathrm{Poisson}(\mu)$	$-\log y!$
$\mathrm{Exp}(\lambda)$	$0$
$\mathrm{Gamma}(\mu,\beta)$	$\Big(\dfrac{1}{\phi}-1\Big)\log y-\dfrac{1}{\phi}\log\phi-\log\Gamma\Big(\dfrac{1}{\phi}\Big)$
$\mathrm{IG}(\mu,\lambda)$	$-\dfrac{1}{2\phi y}-\dfrac{3}{2}\log y-\dfrac{1}{2}\log(2\pi\phi)$

这张表的三条读法

(1) $V(\mu)=b''\big(\theta(\mu)\big)$ ：先反解 $\mu=b'(\theta)$ ，再求二阶导。 $\theta$ 一列里出现负号（指数、伽马、逆高斯）就是提醒你" $\theta<0$ "。
(2) $c(y;\phi)$ 只要求不含 $\theta$ ，可以含 $\phi$ 。离散型的 $c$ 只有组合数/阶乘，连续型的才含 $\log y$ 。
(3) 二项一行是计数版： $Y\in\{0,\dots,n\}$ 、 $\mu=n\pi$ 、 $V=\mu(1-\mu/n)$ 。比例版（ $Y/n$ ）的 $V=\mu(1-\mu)$ 、 $a(\phi)=1/n$ ，等价于把 $n$ 当权重。

总表二：九个模型的连接与权重 Table 2: links and weights（第 4 章 $\to$ 第 5 章的桥）

"九个模型"是七个分布配上常用连接：正态/恒等、伯努利/logit、二项/logit、泊松/log 各一个，伽马与逆高斯各给"典则"与"对数"两种。 $w_i=1/(V g'^2)$ ， $\xi_i-\eta_i=g'(y_i-\mu_i)$ 。

模型	$g(\mu)$	$g'(\mu)$	$V(\mu)$	$w_i$	$\xi_i-\eta_i$	典则?
正态 + 恒等	$\mu$	$1$	$1$	$1$	$y-\mu$	是
伯努利 + logit	$\log\dfrac{\mu}{1-\mu}$	$\dfrac{1}{\mu(1-\mu)}$	$\mu(1-\mu)$	$\mu(1-\mu)$	$\dfrac{y-\mu}{\mu(1-\mu)}$	是
二项 + logit	$\log\dfrac{\mu}{n-\mu}$	$\dfrac{1}{\mu(1-\mu/n)}$	$\mu\big(1-\dfrac{\mu}{n}\big)$	$\mu\big(1-\dfrac{\mu}{n}\big)$	$\dfrac{y-\mu}{\mu(1-\mu/n)}$	是
泊松 + log	$\log\mu$	$\dfrac{1}{\mu}$	$\mu$	$\mu$	$\dfrac{y-\mu}{\mu}$	是
指数 + 典则	$-\dfrac{1}{\mu}$	$\dfrac{1}{\mu^{2}}$	$\mu^{2}$	$\mu^{2}$	$\dfrac{y-\mu}{\mu^{2}}$	是
伽马 + 典则	$-\dfrac{1}{\mu}$	$\dfrac{1}{\mu^{2}}$	$\mu^{2}$	$\mu^{2}$	$\dfrac{y-\mu}{\mu^{2}}$	是
伽马 + log	$\log\mu$	$\dfrac{1}{\mu}$	$\mu^{2}$	$\mathbf{1}$	$\dfrac{y-\mu}{\mu}$	否
逆高斯 + 典则	$-\dfrac{1}{2\mu^{2}}$	$\dfrac{1}{\mu^{3}}$	$\mu^{3}$	$\mu^{3}$	$\dfrac{y-\mu}{\mu^{3}}$	是
逆高斯 + log	$\log\mu$	$\dfrac{1}{\mu}$	$\mu^{3}$	$\dfrac{1}{\mu}$	$\dfrac{y-\mu}{\mu}$	否

三个立刻能用的观察

(1) 典则连接的 $w_i$ 就是 $V(\mu_i)$ （表中前七个"是"）：因为 $g'=1/V$ 时 $w=1/(V\cdot1/V^{2})=V$ 。
(2) 伽马 + log 的权重恒为 $1$ ： $V=\mu^{2}$ 、 $g'=1/\mu$ ，相乘为 $1$ 。这就是 gamma GLM 在实践中几乎都用 log 连接的原因之一——每步退化成普通最小二乘，数值最稳。
(3) 逆高斯 + log 的权重是 $1/\mu$ ： $V=\mu^{3}$ 、 $g'=1/\mu$ ，相乘得 $\mu^{2}$ ，取倒数得 $1/\mu$ 。

总表三：九个模型的 MLE 方程与偏差 Table 3: score equations and deviance（第 5 章）

第三、四列把"正规方程"与"能否闭式解"放在一起；最后一列是偏差。记号： $\boldsymbol{\mu}=g^{-1}(\mathbf{X}\boldsymbol{\beta})$ ， $\boldsymbol{\xi}$ 的工作响应见总表二。

模型	得分 $U(\boldsymbol{\beta})$	正规方程（ $U=\mathbf{0}$ ）	偏差 $D$
正态 + 恒等	$\dfrac{1}{\sigma^{2}}\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$\mathbf{X}^{\top}\mathbf{X}\boldsymbol{\beta}=\mathbf{X}^{\top}\mathbf{y}$ （闭式）	$\sum(y-\hat\mu)^{2}$
伯努利 + logit	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$	$2\sum\big[y\log\dfrac{y}{\hat\mu}+(1-y)\log\dfrac{1-y}{1-\hat\mu}\big]$
二项 + logit	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$	$2\sum\big[y\log\dfrac{y}{\hat\mu}+(n-y)\log\dfrac{n-y}{n-\hat\mu}\big]$
泊松 + log	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$	$2\sum\big[y\log\dfrac{y}{\hat\mu}-(y-\hat\mu)\big]$
指数 + 典则	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$	$2\sum\big[-\log\dfrac{y}{\hat\mu}+\dfrac{y-\hat\mu}{\hat\mu}\big]$
伽马 + 典则	$\dfrac{1}{\beta}\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$	$2\sum\big[-\log\dfrac{y}{\hat\mu}+\dfrac{y-\hat\mu}{\hat\mu}\big]$
伽马 + log	$\dfrac{1}{\beta}\mathbf{X}^{\top}\Big(\dfrac{y-\mu}{\mu}\Big)\mathbf{x}$	$\mathbf{X}^{\top}\mathbf{X}\boldsymbol{\beta}=\mathbf{X}^{\top}\boldsymbol{\xi}$ （ $w\equiv1$ ）	$2\sum\big[-\log\dfrac{y}{\hat\mu}+\dfrac{y-\hat\mu}{\hat\mu}\big]$
逆高斯 + 典则	$\dfrac{1}{\phi}\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$	$\sum\dfrac{(y-\hat\mu)^{2}}{\hat\mu^{2}y}$
逆高斯 + log	$\dfrac{1}{\phi}\mathbf{X}^{\top}\Big(\dfrac{y-\mu}{\mu^{2}}\Big)\mathbf{x}$	$\mathbf{X}^{\top}\mathbf{W}\mathbf{X}\boldsymbol{\beta}=\mathbf{X}^{\top}\mathbf{W}\boldsymbol{\xi}$	$\sum\dfrac{(y-\hat\mu)^{2}}{\hat\mu^{2}y}$

读这张表最容易翻车的两处

(i) 前两列里凡是"典则"的行， $U$ 都化简成 $\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$ （差一个常数因子 $a(\phi)$ ）——这是典则连接的标志；非典则的两行（伽马/log、逆高斯/log）多出 $\mu$ 或 $\mu^{2}$ 的分母，且权重不再等于 $V$ 。
(ii) 伽马与逆高斯的偏差只与 $\hat\mu$ 有关，与连接无关——因为偏差由 $(\theta,b)$ 决定，而 $(\theta,b)$ 是分布属性。

特例一：正态 + 恒等连接 Gaussian $+$ identity（线性回归）

定位：九个模型里唯一有闭式解、且一步收敛的。所有" $w$ 与 $\xi$ 都依赖 $\boldsymbol{\beta}$ "的麻烦在这里都消失了。

从密度到正规方程：六步

【1】指数族参数： $\theta=\mu$ ， $\phi=\sigma^{2}$ ， $a(\phi)=\phi$ ， $b(\theta)=\theta^{2}/2$ ， $V(\mu)=1$ ；典则连接 $g(\mu)=\mu$ ，故 $\theta_i=\eta_i=\mathbf{x}_i^{\top}\boldsymbol{\beta}$ 。
【2】对数似然： $\ell(\boldsymbol{\beta})=-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}\big(y_i-\mathbf{x}_i^{\top}\boldsymbol{\beta}\big)^{2}-\frac{n}{2}\log(2\pi\sigma^{2}).$ 【3】得分： $g'=1$ ， $V=1$ ，故 $U(\boldsymbol{\beta})=\frac{1}{\sigma^{2}}\sum_{i=1}^{n}\big(y_i-\mathbf{x}_i^{\top}\boldsymbol{\beta}\big)\mathbf{x}_i=\frac{1}{\sigma^{2}}\mathbf{X}^{\top}(\mathbf{y}-\mathbf{X}\boldsymbol{\beta}).$ 【4】权重与工作响应： $w_i=\frac{1}{1\cdot1^{2}}=1,\qquad \xi_i=\eta_i+1\cdot(y_i-\mu_i)=y_i .$ 【5】正规方程： $\mathbf{X}^{\top}\mathbf{I}(\mathbf{y}-\mathbf{X}\boldsymbol{\beta})=\mathbf{0}$ ，即 $\mathbf{X}^{\top}\mathbf{X}\,\boldsymbol{\beta}=\mathbf{X}^{\top}\mathbf{y} \qquad\Longrightarrow\qquad \hat{\boldsymbol{\beta}}=(\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{y}.$ 【6】偏差： $D=\sum(y_i-\hat\mu_i)^{2}=\mathrm{RSS}$ ， $D^{*}=\mathrm{RSS}/\sigma^{2}$ 。

为什么只有它一步到位

因为 $\mathbf{W}=\mathbf{I}$ 与 $\boldsymbol{\xi}=\mathbf{y}$ 都不含 $\boldsymbol{\beta}$ ：正规方程是线性方程组，直接解。这也说明"闭式解"不是 GLM 的常态，而是正态的特权。

数据 $x=0,\dots,7$	$\hat\beta_0$	$\hat\beta_1$	迭代	$D$	$\sum\hat\mu=\sum y$
$y=(2.1,2.9,3.3,4.2,5.1,5.0,6.2,6.9)$	$2.125000$	$0.667857$	$1$	$0.365357$	$35.7=35.7$

易错

$\operatorname{Var}[Y]=\sigma^{2}$ 与 $\mu$ 无关，所以 $V(\mu)\equiv1$ ——不要把它写成 $\sigma^{2}$ 。 $\sigma^{2}$ 属于 $a(\phi)$ ，不属于 $V$ 。

特例二：伯努利 + logit Bernoulli $+$ logit（logistic 回归）

定位：典则连接下 $U=\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$ ，正规方程是"残差与每一列正交"；没有闭式解，必须迭代（通常 5–8 步）。

六步

【1】 $\theta=\log\dfrac{\pi}{1-\pi}$ ， $\phi=1$ ， $a(\phi)=1$ ， $b(\theta)=\log(1+e^{\theta})$ ， $V(\mu)=\mu(1-\mu)$ ；典则连接 logit，故 $\theta_i=\eta_i$ 。
【2】 代入 $y\theta-b(\theta)=y\eta-\log(1+e^{\eta})$ ： $\ell(\boldsymbol{\beta})=\sum_{i=1}^{n}\Big[y_i\,\mathbf{x}_i^{\top}\boldsymbol{\beta}-\log\big(1+e^{\mathbf{x}_i^{\top}\boldsymbol{\beta}}\big)\Big].$ 【3】 $g'(\mu)=\dfrac{1}{\mu(1-\mu)}$ ， $V=\mu(1-\mu)$ ，故 $Vg'=1$ ： $U(\boldsymbol{\beta})=\sum_{i=1}^{n}\big(y_i-\mu_i\big)\mathbf{x}_i=\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu}).$ 【4】 $w_i=V(\mu_i)=\mu_i(1-\mu_i)$ ， $\xi_i=\eta_i+\dfrac{y_i-\mu_i}{\mu_i(1-\mu_i)}$ 。
【5】 正规方程： $\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0} \quad\Longleftrightarrow\quad \sum_i(y_i-\hat\mu_i)=0,\quad \sum_i x_{ij}(y_i-\hat\mu_i)=0\ \ (j=1,\dots,p).$ 没有闭式解，用 IRLS： $\boldsymbol{\beta}^{(k+1)}=(\mathbf{X}^{\top}\mathbf{W}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{W}\boldsymbol{\xi}$ 。
【6】 $D=2\sum\big[y\log\tfrac{y}{\hat\mu}+(1-y)\log\tfrac{1-y}{1-\hat\mu}\big]$ ，约定 $0\log0=0$ 。

两条能当堂验证的结论

(1) 第一列是 1，所以 $\sum_i\hat\mu_i=\sum_i y_i$ （拟合概率之和 = 观测到的成功数）。
(2) $w_i=\mu_i(1-\mu_i)$ ：预测概率越接近 $0.5$ 权重越大，越接近 $0$ 或 $1$ 权重越小——"分离"数据把 $\hat\beta$ 推向无穷，根子就在这里。

数据 $x=0,\dots,7$	$\hat\beta_0$	$\hat\beta_1$	迭代	$D$	$\sum\hat\mu=\sum y$
$y=(0,0,1,1,0,1,1,1)$	$-1.918783$	$0.797592$	$7$	$6.978600$	$5.0=5$

易错

不要把 $w_i$ 写成 $1/[\mu(1-\mu)]$ 。 $g'=1/[\mu(1-\mu)]$ 是导数， $w=1/(Vg'^{2})=\mu(1-\mu)$ 才是权重。两者互为倒数，是最容易抄反的一对。

特例三：二项（计数）+ logit Binomial $+$ logit（分组数据）

定位：与伯努利的区别只在 $b(\theta)$ 多了一个因子 $n$ 、 $V$ 多了一个 $1-\mu/n$ 。响应是 $0,\dots,n$ 的计数时用它；若响应是比例，见下面的脚注。

六步

【1】 $\theta=\log\dfrac{\pi}{1-\pi}$ ， $\phi=1$ ， $b(\theta)=n\log(1+e^{\theta})$ ， $V(\mu)=\mu\big(1-\dfrac{\mu}{n}\big)$ ， $\mu=n\pi$ ；典则连接 $g(\mu)=\log\dfrac{\mu}{n-\mu}$ ，故 $\theta_i=\eta_i$ 。
【2】 用 $\pi=\mu/n$ 写成更常见的形式： $\ell(\boldsymbol{\beta})=\sum_{i=1}^{n}\Big[y_i\log\frac{\mu_i}{n_i}+(n_i-y_i)\log\Big(1-\frac{\mu_i}{n_i}\Big)\Big] =\sum_i\Big[y_i\eta_i-n_i\log(1+e^{\eta_i})\Big].$ 【3】 $g'(\mu)=\dfrac{1}{\mu(1-\mu/n)}$ ， $Vg'=1$ ，故仍有 $U(\boldsymbol{\beta})=\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu}).$ 【4】 $w_i=\mu_i\big(1-\dfrac{\mu_i}{n_i}\big)$ ， $\xi_i=\eta_i+\dfrac{y_i-\mu_i}{\mu_i(1-\mu_i/n_i)}$ 。
【5】 正规方程同样是 $\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$ ，故 $\sum\hat\mu_i=\sum y_i$ ；无闭式解。
【6】 $D=2\sum\big[y\log\tfrac{y}{\hat\mu}+(n-y)\log\tfrac{n-y}{n-\hat\mu}\big]$ 。

数据 $x=0,\dots,7$ ， $n=5$	$\hat\beta_0$	$\hat\beta_1$	迭代	$D$	$\sum\hat\mu=\sum y$
$y=(0,1,2,3,2,4,4,5)$	$-2.293864$	$0.700512$	$5$	$3.668480$	$21=21$

计数版与比例版（本章最贵的一个区分）

计数版（本页）： $\mu=n\pi$ ， $w=\mu(1-\mu/n)$ ， $a(\phi)=1$ 。
比例版：响应 $Z=Y/n\in[0,1]$ ， $\mathbb{E}[Z]=\pi$ ， $\operatorname{Var}[Z]=\pi(1-\pi)/n$ ，故 $V(\mu)=\mu(1-\mu)$ 、 $a(\phi)=1/n$ ——等价于把 $n_i$ 当作权重（ $\mathbf W$ 再乘 $n_i$ ）。
两者拟合出的 $\hat{\boldsymbol{\beta}}$ 相同（同一族、同一连接），但偏差与标准误的尺度不同：比例版的 $D$ 要按 $n$ 加权。

特例四：泊松 + 对数 Poisson $+$ log（对数线性模型）

定位：计数数据的主力模型；典则连接下正规方程化成 $\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$ ，因此"拟合总量 = 观测总量"。

六步

【1】 $\theta=\log\mu$ ， $\phi=1$ ， $a(\phi)=1$ ， $b(\theta)=e^{\theta}$ ， $V(\mu)=\mu$ ；典则连接 $\log$ ，故 $\theta_i=\eta_i=\mathbf{x}_i^{\top}\boldsymbol{\beta}$ ， $\mu_i=e^{\eta_i}$ 。
【2】 $\ell(\boldsymbol{\beta})=\sum_{i=1}^{n}\Big[y_i\,\mathbf{x}_i^{\top}\boldsymbol{\beta}-e^{\mathbf{x}_i^{\top}\boldsymbol{\beta}}-\log y_i!\Big].$ 【3】 $g'=1/\mu$ ， $Vg'=1$ ： $U(\boldsymbol{\beta})=\sum_i\big(y_i-\mu_i\big)\mathbf{x}_i=\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu}).$ 【4】 $w_i=\mu_i$ ， $\xi_i=\eta_i+\dfrac{y_i-\mu_i}{\mu_i}$ 。
【5】 正规方程 $\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$ ，等价于 $\sum_i\hat\mu_i=\sum_i y_i,\qquad \sum_i x_{ij}\hat\mu_i=\sum_i x_{ij}y_i\ \ (j=1,\dots,p).$ 无闭式解。
【6】 $D=2\sum\big[y\log\tfrac{y}{\hat\mu}-(y-\hat\mu)\big]$ ，约定 $0\log0=0$ 。

为什么泊松是"最好教"的典则例子

$b'=b''=e^{\theta}$ ，所以 $\mathbb{E}[Y]=\operatorname{Var}[Y]=\mu$ 一行就出来；权重 $w=\mu$ 也一眼看出；正规方程的"总量守恒"还能当堂验算： $\sum\hat\mu=41.0000=\sum y$ 。

数据 $x=0,\dots,7$	$\hat\beta_0$	$\hat\beta_1$	迭代	$D$	$\sum\hat\mu=\sum y$
$y=(1,2,2,4,5,7,9,11)$	$0.313860$	$0.308993$	$4$	$0.470636$	$41=41$

易错

$\theta=\log\mu$ 是自然参数， $\eta=\log\mu$ 是线性预测子——典则时两者相等，但概念不同。换成恒等连接后 $\eta=\mu$ 、 $\theta=\log\mu$ ，两者立刻分家（ $\theta\ne\eta$ ），此时 $w=1/(\mu\cdot1^{2})=\mu$ 仍成立，而 $U$ 不再化简。

特例五：伽马 + 对数连接 Gamma $+$ log（非典则，但最常用）

定位：正连续、右偏的响应（金额、时长、浓度）。伽马的典则连接是 $-1/\mu$ ，但实践中几乎都用 $\log$ ——本页讲 $\log$ ，典则版本在 §10。最漂亮的一点：权重恒为 1。

六步

【1】 $\theta=-\dfrac{1}{\mu}$ ， $\phi=\beta$ ， $a(\phi)=\phi$ ， $b(\theta)=-\log(-\theta)=\log\mu$ ， $V(\mu)=\mu^{2}$ ；连接取 $\log$ （非典则），故 $\eta_i=\log\mu_i$ 、 $\theta_i=-e^{-\eta_i}$ 。
【2】 由 $y\theta-b=\dfrac{-y}{\mu}-\log\mu$ ： $\ell(\boldsymbol{\beta})=\frac{1}{\beta}\sum_{i=1}^{n}\Big[-\frac{y_i}{\mu_i}-\log\mu_i\Big]+c(\mathbf{y};\beta), \qquad \mu_i=e^{\mathbf{x}_i^{\top}\boldsymbol{\beta}}.$ 【3】 $g'=1/\mu$ ， $Vg'=\mu^{2}\cdot\dfrac{1}{\mu}=\mu$ ： $U(\boldsymbol{\beta})=\frac{1}{\beta}\sum_i\frac{y_i-\mu_i}{\mu_i}\,\mathbf{x}_i .$ 【4】 权重与工作响应： $w_i=\frac{1}{\mu_i^{2}\cdot(1/\mu_i)^{2}}=1, \qquad \xi_i=\eta_i+\frac{y_i-\mu_i}{\mu_i}.$ 【5】 正规方程退化为普通最小二乘： $\mathbf{X}^{\top}\mathbf{X}\,\boldsymbol{\beta}=\mathbf{X}^{\top}\boldsymbol{\xi} \qquad\Longleftrightarrow\qquad \boldsymbol{\beta}^{(k+1)}=(\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\boldsymbol{\xi}^{(k)} .$ 【6】 $D=2\sum\big[-\log\tfrac{y}{\hat\mu}+\tfrac{y-\hat\mu}{\hat\mu}\big]$ （与连接无关）。

这条"权重恒为 1"有什么用

它解释了两件事：(1) 伽马配 log 在数值上非常稳（每步只是 OLS， $\mathbf{X}^{\top}\mathbf{X}$ 只需分解一次）；(2) 它是非典则连接，所以 $J\ne I$ 、Newton 与 Fisher scoring 路径不同（第 5 章 §3.8 的数值例子就是这一类）。

数据 $x=0,\dots,7$ ， $\beta=0.5$	$\hat\beta_0$	$\hat\beta_1$	迭代	$D$	$R^{2}=1-D/D_0$
$y=(1.4,1.9,2.2,2.8,3.1,3.9,4.4,5.2)$	$0.420874$	$0.180726$	$8$	$0.016565$	$0.9875$

易错

不要把 $w_i$ 写成 $V(\mu_i)=\mu_i^{2}$ ——那是典则连接的结果。 $\log$ 连接下 $g'=1/\mu$ ， $w=1/(\mu^{2}\cdot\mu^{-2})=1$ 。同一分布、不同连接，权重完全不同，这是"连接改变算法"的最直接例子。

特例六：逆高斯 + 对数连接 Inverse Gaussian $+$ log

定位： $V=\mu^{3}$ 的家族，比伽马更"重尾"，常用于首次通过时间、退化数据。典则连接是 $-\frac{1}{2\mu^{2}}$ （§10），实践中同样多用 $\log$ 。

六步

【1】 $\theta=-\dfrac{1}{2\mu^{2}}$ ， $\phi=\dfrac{1}{\lambda}$ ， $a(\phi)=\phi$ ， $b(\theta)=-\sqrt{-2\theta}=-\dfrac{1}{\mu}$ ， $V(\mu)=\mu^{3}$ ；连接 $\log$ ，故 $\mu_i=e^{\eta_i}$ 。
【2】 由 $y\theta-b=\dfrac{-y}{2\mu^{2}}+\dfrac{1}{\mu}$ ： $\ell(\boldsymbol{\beta})=\frac{1}{\phi}\sum_{i=1}^{n}\Big[-\frac{y_i}{2\mu_i^{2}}+\frac{1}{\mu_i}\Big]+c(\mathbf{y};\phi).$ 【3】 $g'=1/\mu$ ， $Vg'=\mu^{3}\cdot\dfrac{1}{\mu}=\mu^{2}$ ： $U(\boldsymbol{\beta})=\frac{1}{\phi}\sum_i\frac{y_i-\mu_i}{\mu_i^{2}}\,\mathbf{x}_i .$ 【4】 权重与工作响应： $w_i=\frac{1}{\mu_i^{3}\cdot(1/\mu_i)^{2}}=\frac{1}{\mu_i}, \qquad \xi_i=\eta_i+\frac{y_i-\mu_i}{\mu_i}.$ 【5】 正规方程 $\mathbf{X}^{\top}\mathbf{W}\mathbf{X}\boldsymbol{\beta}=\mathbf{X}^{\top}\mathbf{W}\boldsymbol{\xi}$ ， $\mathbf{W}=\operatorname{diag}(1/\mu_i)$ 。
【6】 $D=\sum\dfrac{(y_i-\hat\mu_i)^{2}}{\hat\mu_i^{2}y_i}$ （与连接无关）。

与伽马对照着记

两个家族在 log 连接下工作响应完全相同（ $\xi=\eta+(y-\mu)/\mu$ ），只有权重不同：伽马 $w\equiv1$ ，逆高斯 $w=1/\mu$ 。所以同一个 IRLS 代码，换一行 $V$ 就从伽马变成逆高斯——这正是"算法只依赖 $V$ 与 $g$ "的实证。

数据 $x=0,\dots,7$ ， $\lambda=5$	$\hat\beta_0$	$\hat\beta_1$	迭代	$D$	$R^{2}=1-D/D_0$
$y=(1.4,1.9,2.2,2.8,3.1,3.9,4.4,5.2)$	$0.402579$	$0.186816$	$11$	$0.007544$	$0.9843$

易错

逆高斯的 $D$ 是 $\sum(y-\hat\mu)^{2}/(\hat\mu^{2}y)$ ，分母有 $y$ （不像正态只除常数）。这意味着 $y$ 越小、对偏差的贡献越大——重尾家族的特征。不要写成 $\sum(y-\hat\mu)^{2}/\hat\mu^{3}$ 。

三个"典则但少用"的情形 Canonical links that practice avoids

指数、伽马、逆高斯的典则连接都带负号，把 $\mu>0$ 映到 $\eta<0$ 。作为理论对照它们必须会写；作为回归模型它们很少直接用，因为"线性预测子必须为负"在实践中几乎不可能满足。

模型	$g(\mu)=\theta(\mu)$	$g'(\mu)$	$w_i$	$\xi_i-\eta_i$	$U(\boldsymbol{\beta})$	$D$
指数 + 典则	$-\dfrac{1}{\mu}$	$\dfrac{1}{\mu^{2}}$	$\mu^{2}$	$\dfrac{y-\mu}{\mu^{2}}$	$\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$2\sum\big[-\log\tfrac{y}{\hat\mu}+\tfrac{y-\hat\mu}{\hat\mu}\big]$
伽马 + 典则	$-\dfrac{1}{\mu}$	$\dfrac{1}{\mu^{2}}$	$\mu^{2}$	$\dfrac{y-\mu}{\mu^{2}}$	$\dfrac{1}{\beta}\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$2\sum\big[-\log\tfrac{y}{\hat\mu}+\tfrac{y-\hat\mu}{\hat\mu}\big]$
逆高斯 + 典则	$-\dfrac{1}{2\mu^{2}}$	$\dfrac{1}{\mu^{3}}$	$\mu^{3}$	$\dfrac{y-\mu}{\mu^{3}}$	$\dfrac{1}{\phi}\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})$	$\sum\dfrac{(y-\hat\mu)^{2}}{\hat\mu^{2}y}$

三行就推完（以伽马为例）

$\theta=-\dfrac{1}{\mu}$ ， $b(\theta)=-\log(-\theta)$ ， $V=\mu^{2}$ ；典则连接 $g=\theta$ ，故 $\eta=\theta=-\dfrac{1}{\mu}$ 、 $g'=\dfrac{1}{\mu^{2}}$ 。于是 $w=\frac{1}{Vg'^{2}}=\frac{1}{\mu^{2}\cdot\mu^{-4}}=\mu^{2}=V, \qquad \xi-\eta=g'(y-\mu)=\frac{y-\mu}{\mu^{2}}, \qquad U=\frac{1}{\beta}\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu}).$

两个必须提醒学生的坑

(1) 约束：典则连接要求 $\eta=\mathbf{x}^{\top}\boldsymbol{\beta}<0$ 。设计矩阵含正协变量时，这个约束很容易被违反；强行拟合会得到不稳定甚至发散的迭代。
(2) 软件命名：R 的 Gamma(link="inverse") 用的是 $\eta=+\dfrac{1}{\mu}$ ，不是典则的 $-\dfrac{1}{\mu}$ 。两者差一个负号： $g'$ 差一个负号、 $w$ 相同（平方后抵消）、 $U$ 差一个负号。看到教材说"伽马的典则连接是倒数"时，先确认它用的 $\theta$ 是 $-1/\mu$ 还是 $+1/\mu$ 。

非典则连接的对照：probit

二项配 probit： $g(\mu)=\Phi^{-1}(\mu)$ ， $g'(\mu)=\dfrac{1}{\varphi\big(\Phi^{-1}(\mu)\big)}$ （ $\varphi$ 是标准正态密度），故 $w_i=\mu_i(1-\mu_i)\,\varphi\big(z_i\big)^{2},\qquad z_i=\Phi^{-1}(\mu_i), \qquad \xi_i=\eta_i+\varphi(z_i)\,(y_i-\mu_i).$ 它与 logit 的差别只在这对 $(w,\xi)$ 上： $J\ne I$ ，Newton 与 Fisher scoring 路径不同，但收敛点相同。 $\mu=0.5$ 时 $\varphi(0)^{2}=1/(2\pi)\approx0.159$ ，故 $w\approx0.0398$ ——比 logit 的 $0.25$ 小得多，这就是 probit 迭代通常要多几步的原因。

数值核对、软件对照与八个易错点 Numbers, software names, and eight pitfalls

六个可拟合特例的结果（同一组数据， $x=0,\dots,7$ ）

模型	$\hat\beta_0$	$\hat\beta_1$	迭代	$D$	$R^{2}=1-D/D_0$
正态 + 恒等	$2.125000$	$0.667857$	$1$	$0.365357$	$0.9809$
伯努利 + logit	$-1.918783$	$0.797592$	$7$	$6.978600$	$0.3407$
二项（ $n=5$ ）+ logit	$-2.293864$	$0.700512$	$5$	$3.668480$	$0.8179$
泊松 + log	$0.313860$	$0.308993$	$4$	$0.470636$	$0.9743$
伽马 + log（ $\beta=0.5$ ）	$0.420874$	$0.180726$	$8$	$0.016565$	$0.9875$
逆高斯 + log（ $\lambda=5$ ）	$0.402579$	$0.186816$	$11$	$0.007544$	$0.9843$

响应向量（ $x=0,\dots,7$ ，每族 $n=8$ ）：

正态： $y=(2.1,\ 2.9,\ 3.3,\ 4.2,\ 5.1,\ 5.0,\ 6.2,\ 6.9)$ ；
伯努利： $y=(0,\ 0,\ 1,\ 1,\ 0,\ 1,\ 1,\ 1)$ ；
二项（ $n=5$ ）： $y=(0,\ 1,\ 2,\ 3,\ 2,\ 4,\ 4,\ 5)$ ；
泊松： $y=(1,\ 2,\ 2,\ 4,\ 5,\ 7,\ 9,\ 11)$ 。

伽马与逆高斯共用 $y=(1.4,1.9,2.2,2.8,3.1,3.9,4.4,5.2)$ ，离散度分别固定为 $\beta=0.5$ 与 $\lambda=5$ （拟合 $\boldsymbol{\beta}$ 不需要它们）。

四个"典则不变量"可以当堂验算

典则连接下正规方程是 $\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$ ，取第一列（全为 $1$ ）得 $\sum_i\hat\mu_i=\sum_i y_i$ ： $\mathrm{N}:\ 35.7=35.7,\qquad \mathrm{Bernoulli}:\ 5.0=5,\qquad \mathrm{Binomial}:\ 21=21,\qquad \mathrm{Poisson}:\ 41=41 .$ 伽马与逆高斯本页用的是 $\log$ 连接（非典则），所以没有这条恒等式，可以让学生自己检查这一点。

脚本核对清单

六项检查（verify_families.py）

A. IRLS 收敛，且不动点处 $\max_j|U_j|\approx10^{-14}$ ；典则模型另有 $\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$ 。
B. 恒等式 $w_i(\xi_i-\eta_i)=\dfrac{y_i-\mu_i}{V(\mu_i)g'(\mu_i)}$ 在拟合值处成立（误差 $10^{-16}$ ）。
C. IRLS 的不动点确实是似然最大值：用 scipy 独立最小化 $-\ell(\boldsymbol{\beta})$ （BFGS），收敛点与 IRLS 相同、梯度 $\approx10^{-6}$ 。
D. 偏差闭式与定义式一致： $D=a(\phi)\cdot\big(-2[\ell(\hat{\boldsymbol{\mu}})-\ell(\mathbf{y})]\big)$ 。
E. 打印本页表格的全部数字。
F. 零偏差 $D_0$ 与 $R^{2}$ （只含截距的模型由同一 IRLS 拟出）。

软件里的名字

模型	R： `family`	statsmodels	注意
正态 + 恒等	`gaussian(identity)`	`Gaussian(Identity())`	即 `lm`
伯努利 + logit	`binomial(logit)`	`Binomial()`	响应 $0/1$
二项 + logit	`binomial(logit)`	`Binomial()`	响应为两列或比例+权重
泊松 + log	`poisson(log)`	`Poisson()`	默认连接即 log
伽马 + log	`Gamma(link="log")`	`Gamma(Log())`	默认是 `inverse`
伽马 + 典则	无直接对应	无直接对应	`inverse` 是 $+1/\mu$ 不是 $-1/\mu$
逆高斯 + log	`inverse.gaussian("log")`	`InverseGaussian(Log())`	默认 $1/\mu^{2}$
probit	`binomial(probit)`	`Binomial(Probit())`	非典则

八个易错点

把 $V$ 与方差混为一谈。 正确： $\operatorname{Var}[Y]=a(\phi)V(\mu)$ 。正态的 $V\equiv 1$ ，方差是 $\sigma^{2}$ ；伽马的 $V=\mu^{2}$ ，方差是 $\beta\mu^{2}$ 。
伽马的离散度写成 $\alpha$ 。 正确： $(\mu,\beta)$ 参数化下 $\phi=\beta=1/\alpha$ ；写成 $\alpha$ 会让方差差 $\alpha^{2}$ 倍。
二项的 $n$ 放错位置。 正确： $b=n\log(1+e^{\theta})$ 、 $V=\mu(1-\mu/n)$ 、 $w=\mu(1-\mu/n)$ ；三处都必须带 $n$ 。
以为伽马 + log 的权重是 $\mu^{2}$ 。 正确： $w=1$ （ $V=\mu^{2}$ 、 $g'=1/\mu$ ）。 $\mu^{2}$ 是典则连接下的权重。
逆高斯的偏差分母写成 $\hat\mu^{3}$ 。 正确： $D=\sum(y-\hat\mu)^{2}/(\hat\mu^{2}y)$ ，分母里有 $y$ 。
忘记典则连接的负号。 正确：伽马/指数/逆高斯的典则连接是 $-1/\mu$ 、 $-1/(2\mu^{2})$ ；R 的 inverse 用的是 $+1/\mu$ 。
偏差与 $a(\phi)$ 的关系写错。 正确： $D=a(\phi)\cdot(-2\Delta\ell)$ ，即 $D^{*}=D/a(\phi)$ 。伽马（ $\beta=0.5$ ）时两者差两倍。
以为非典则连接也有 $\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}$ 。 正确：只有典则连接才化简成这个形式；伽马/log、逆高斯/log 的正规方程里多出 $\mu$ 或 $\mu^{2}$ ，且 $J\ne I$ 。

用好这两页的一条建议

让学生做一道"翻译题"：给定一个模型名（例如 Gamma GLM with log link），要求他们在两分钟内写出 $(\theta,\phi,a,b,V)$ 、 $w_i$ 、 $\xi_i$ 、正规方程与 $D$ 。能写全，说明第 4、5 章真的接上了。

This page was generated by DeepSeek 4.1 Flash from the course LaTeX source; the reference tables and formulas are reproduced verbatim.

本页由 DeepSeek 4.1 Flash 依据课程 LaTeX 讲义生成，对照表与公式均按原讲义保留。

这份补篇解决什么 What this supplement is for

目录与索引 Contents

总表一：七个分布的指数族身份卡 Table 1: the seven distributions（第 4 章）

总表二：九个模型的连接与权重 Table 2: links and weights（第 4 章 →\to 第 5 章的桥）

总表三：九个模型的 MLE 方程与偏差 Table 3: score equations and deviance（第 5 章）

特例一：正态 + 恒等连接 Gaussian ++ identity（线性回归）

特例二：伯努利 + logit Bernoulli ++ logit（logistic 回归）

特例三：二项（计数）+ logit Binomial ++ logit（分组数据）

特例四：泊松 + 对数 Poisson ++ log（对数线性模型）

特例五：伽马 + 对数连接 Gamma ++ log（非典则，但最常用）

特例六：逆高斯 + 对数连接 Inverse Gaussian ++ log