(1) 随机成分： $Y_1,\dots,Y_n$ 相互独立， $Y_i\sim f(y_i;\theta_i,\phi)$，即 $$f(y_i;\theta_i,\phi)=\exp\Big\{\frac{y_i\theta_i-b(\theta_i)}{a(\phi)}+c(y_i;\phi)\Big\};$$ (2) 均值与参数： $\mu_i=\mathbb{E}[Y_i]=b'(\theta_i)$，故 $\theta_i=(b')^{-1}(\mu_i)$；
(3) 系统成分与连接： $g(\mu_i)=\mathbf{x}_i^{\top}\boldsymbol{\beta}$，其中 $$\mathbf{y}=(y_1,\dots,y_n)^{\top},\qquad \mathbf{X}=(\mathbf{x}_1,\dots,\mathbf{x}_n)^{\top}\in\mathbb{R}^{n\times(p+1)},\qquad \boldsymbol{\beta}=(\beta_0,\beta_1,\dots,\beta_p)^{\top}.$$

由第 (2)、(3) 两行： $$\theta_i=(b')^{-1}(\mu_i)=(b')^{-1}\big(g^{-1}(\mathbf{x}_i^{\top}\boldsymbol{\beta})\big)=:h(\mathbf{x}_i^{\top}\boldsymbol{\beta}), \qquad h:=(b')^{-1}\circ g^{-1}.$$ 等价写法：$h=\big(g\circ (b')^{-1}\big)^{-1}$（复合的逆等于逆的倒序复合）。
典则连接时 $g=(b')^{-1}$，于是 $g^{-1}=b'$，从而 $$h=(b')^{-1}\circ b'=\operatorname{id}, \qquad\text{即}\qquad \theta_i=\eta_i=\mathbf{x}_i^{\top}\boldsymbol{\beta}.$$

$$\beta_j\;\longrightarrow\;\eta_i=\mathbf{x}_i^{\top}\boldsymbol{\beta}\;\longrightarrow\;\mu_i=g^{-1}(\eta_i)\;\longrightarrow\;\theta_i=(b')^{-1}(\mu_i)\;\longrightarrow\;\ell_i=\frac{y_i\theta_i-b(\theta_i)}{a(\phi)}+c(y_i;\phi).$$ 于是 $$\frac{\partial\ell}{\partial\beta_j}=\sum_{i=1}^{n} \underbrace{\frac{\partial\ell_i}{\partial\theta_i}}_{\text{(A)}} \underbrace{\frac{\partial\theta_i}{\partial\mu_i}}_{\text{(B)}} \underbrace{\frac{\partial\mu_i}{\partial\eta_i}}_{\text{(C)}} \underbrace{\frac{\partial\eta_i}{\partial\beta_j}}_{\text{(D)}} .$$

$$\begin{equation} U_j:=\frac{\partial\ell(\boldsymbol{\beta})}{\partial\beta_j} =\sum_{i=1}^{n}\frac{(y_i-\mu_i)\,x_{ij}}{a(\phi)\,V(\mu_i)\,g'(\mu_i)}, \qquad j=0,1,\dots,p . \end{equation}$$

关键恒等式（一行代数）： $$w_i\,(\xi_i-\eta_i)=\frac{1}{V g'^{2}}\cdot g'(y_i-\mu_i)=\frac{y_i-\mu_i}{V(\mu_i)\,g'(\mu_i)} .$$ 于是 （见对应公式/小节） 变成 $$U_j=\frac{1}{a(\phi)}\sum_{i=1}^{n}w_i\,x_{ij}\,(\xi_i-\eta_i), \qquad j=0,1,\dots,p .$$ 写成矩阵： $$\begin{equation} U(\boldsymbol{\beta})=\frac{1}{a(\phi)}\,\mathbf{X}^{\top}\mathbf{W}(\boldsymbol{\xi}-\mathbf{X}\boldsymbol{\beta}), \qquad \mathbf{W}=\operatorname{diag}(w_1,\dots,w_n),\quad \boldsymbol{\xi}=(\xi_1,\dots,\xi_n)^{\top}. \end{equation}$$

置 $U(\boldsymbol{\beta})=\mathbf{0}$，即 $\mathbf{X}^{\top}\mathbf{W}(\boldsymbol{\xi}-\mathbf{X}\boldsymbol{\beta})=\mathbf{0}$，等价于 $$\begin{equation} \mathbf{X}^{\top}\mathbf{W}\mathbf{X}\,\boldsymbol{\beta}=\mathbf{X}^{\top}\mathbf{W}\boldsymbol{\xi}. \end{equation}$$ 形式上它和加权最小二乘的正规方程一模一样，于是解是 $\boldsymbol{\beta}=(\mathbf{X}^{\top}\mathbf{W}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{W}\boldsymbol{\xi}$——但 $\mathbf{W}$ 和 $\boldsymbol{\xi}$ 都依赖 $\boldsymbol{\beta}$，所以这个"解"只是把方程改写了一遍（第 3 节从这里进入迭代）。

Fisher 信息（§3.3）是 $$I(\boldsymbol{\beta})=\sum_{i=1}^{n}\frac{(\partial\mu_i/\partial\eta_i)^{2}}{a(\phi)V(\mu_i)}\,\mathbf{x}_i\mathbf{x}_i^{\top} =\frac{1}{a(\phi)}\,\mathbf{X}^{\top}\mathbf{W}\mathbf{X}, \qquad w_i=\frac{(\partial\mu_i/\partial\eta_i)^{2}}{V(\mu_i)}=\frac{1}{V(\mu_i)\,g'(\mu_i)^{2}} .$$ 也就是说：$w_i$ 是第 $i$ 个观测对信息矩阵的贡献。把它写成 $\mathbf{X}^{\top}\mathbf{W}\mathbf{X}$ 只是记号上的打包，$w_i$ 并不是新假设。因为 $a(\phi)$ 是常数，它在迭代中约掉（§3.6），所以可以只记 $1/(Vg'^2)$。

$\xi_i=\eta_i+g'(\mu_i)(y_i-\mu_i)$ 是把 $y_i$ 一阶线性化到 $\eta$ 尺度上的结果（delta 法：$\eta\approx g(\mu)+g'(\mu)(y-\mu)$）。由上一节，$\operatorname{Var}[\xi_i]=a(\phi)/w_i$，所以 $$w_i=\frac{a(\phi)}{\operatorname{Var}[\xi_i]}\ \propto\ \frac{1}{\operatorname{Var}[\xi_i]} .$$ 加权最小二乘的最优权重就是方差的倒数——于是"对 $(\boldsymbol{\xi},\mathbf{W})$ 做加权最小二乘"这句话里的权重，与"信息量"是同一个数。

得分方程只要求 $$w_i\,(\xi_i-\eta_i)=\frac{y_i-\mu_i}{V(\mu_i)\,g'(\mu_i)},$$ 它只固定了乘积，不固定 $w_i$ 本身：把 $w_i$ 放大 $k$ 倍、$\xi_i$ 相应缩小，方程不变。所以 $w$ 的整体尺度可以任取（这也是 $a(\phi)$ 能约掉的原因）。要让 $(\boldsymbol{\xi},\mathbf{W})$ 有"伪观测 + 反方差加权"的意义，只需两条：

• $\xi_i$ 是 $y_i$ 的仿射函数，斜率 $\partial\xi_i/\partial y_i=c_i$；

• $w_i\propto 1/\operatorname{Var}[\xi_i]=1/(c_i^{2}aV)$。

两条合起来要求 $w_i(\xi_i-\eta_i)\propto (y_i-\mu_i)/(c_i a V)$ 与真值 $\propto(y_i-\mu_i)/(aVg')$ 对齐，即 $c_i\propto g'(\mu_i)$。取 $c_i=g'(\mu_i)$ 就得到课件的 $w_i=1/(Vg'^{2})$、$\xi_i=\eta_i+g'(y_i-\mu_i)$——这对 $(w,\xi)$ 是由"信息量解释"唯一确定的，只差一个整体尺度。

数据 $x=0,1,\dots,7$，$y=(1,2,2,4,5,7,9,11)$。$\boldsymbol{\beta}^{(0)}=\mathbf{0}\Rightarrow\mu_i^{(0)}=e^{0}=1$，于是 $$w_i^{(0)}=\mu_i^{(0)}=1,\qquad \xi_i^{(0)}=\eta_i^{(0)}+\frac{y_i-\mu_i^{(0)}}{\mu_i^{(0)}}=y_i-1=(0,1,1,3,4,6,8,10).$$ 第 3 步解加权最小二乘（此时 $\mathbf{W}=\mathbf{I}$，就是普通最小二乘）： $$\boldsymbol{\beta}^{(1)}=(\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\boldsymbol{\xi}^{(0)} =\Big(-0.916667,\ +1.440476\Big).$$ 这两个数就是"从 $\boldsymbol{\beta}^{(0)}=\mathbf{0}$ 起步"时的第一步。§3.8 的迭代表换了更好的初值（$\mu^{(0)}=\max(y,0.1)$），所以第一步的数值不同、步数更少，但收敛到同一点。

(1) $V(\mu)=1$，$g(\mu)=\mu\Rightarrow g'(\mu)=1$，故 $w_i=1$；
(2) $\xi_i=\eta_i+1\cdot(y_i-\mu_i)=y_i$（因为 $\eta_i=\mu_i$）；
(3) $\mathbf{W}=\mathbf{I}_n$，正规方程 （见对应公式/小节） 化为 $$\mathbf{X}^{\top}\mathbf{X}\,\boldsymbol{\beta}=\mathbf{X}^{\top}\mathbf{y};$$ (4) 若 $\mathbf{X}^{\top}\mathbf{X}$ 可逆，$\hat{\boldsymbol{\beta}}=(\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{y}$——一步到位，无需迭代。

(1) $V(\mu)=\mu$，$g(\mu)=\log\mu\Rightarrow g'(\mu)=1/\mu$，故 $$w_i=\frac{1}{\mu_i\,(1/\mu_i)^{2}}=\mu_i ;$$ (2) $\xi_i=\eta_i+\dfrac{1}{\mu_i}(y_i-\mu_i)=\eta_i+\dfrac{y_i-\mu_i}{\mu_i}$；
(3) $\mathbf{W}=\operatorname{diag}(\mu_i)$，正规方程 （见对应公式/小节） 为 $\mathbf{X}^{\top}\mathbf{W}\mathbf{X}\boldsymbol{\beta}=\mathbf{X}^{\top}\mathbf{W}\boldsymbol{\xi}$。
(4) 两边都用 $\boldsymbol{\xi}=\mathbf{X}\boldsymbol{\beta}+\mathbf{W}^{-1}(\mathbf{y}-\boldsymbol{\mu})$ 代入： $$\mathbf{X}^{\top}\mathbf{W}\mathbf{X}\boldsymbol{\beta}=\mathbf{X}^{\top}\mathbf{W}\Big(\mathbf{X}\boldsymbol{\beta}+\mathbf{W}^{-1}(\mathbf{y}-\boldsymbol{\mu})\Big) =\mathbf{X}^{\top}\mathbf{W}\mathbf{X}\boldsymbol{\beta}+\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu}),$$ $$\Longrightarrow\qquad \mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu})=\mathbf{0}.$$

典则连接 $g(\mu)=(b')^{-1}(\mu)=\theta$，故 $g'(\mu)=\dfrac{\mathrm{d}\theta}{\mathrm{d}\mu}=\dfrac{1}{b''(\theta)}=\dfrac{1}{V(\mu)}$，于是 $$w_i=\frac{1}{V(\mu_i)\cdot 1/V(\mu_i)^{2}}=V(\mu_i), \qquad \xi_i=\eta_i+\frac{y_i-\mu_i}{V(\mu_i)}=\theta_i+\frac{y_i-\mu_i}{V(\mu_i)} .$$ 代回 （见对应公式/小节）： $$\begin{equation} U_j=\frac{1}{a(\phi)}\sum_{i=1}^{n}(y_i-\mu_i)\,x_{ij}, \qquad\text{即}\qquad U(\boldsymbol{\beta})=\frac{1}{a(\phi)}\,\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu}). \end{equation}$$

$\boldsymbol{\beta}=(\mathbf{X}^{\top}\mathbf{W}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{W}\boldsymbol{\xi}$ 这个式子不是解：右边的 $\mathbf{W}=\mathbf{W}(\boldsymbol{\beta})$、$\boldsymbol{\xi}=\boldsymbol{\xi}(\boldsymbol{\beta})$ 都含未知的 $\boldsymbol{\beta}$。把它当成"不动点方程"$\boldsymbol{\beta}=\mathcal{T}(\boldsymbol{\beta})$ 来看，才需要迭代。

得分（score）：$U(\boldsymbol{\beta})=\nabla\ell(\boldsymbol{\beta})$，是 $p+1$ 维向量；MLE 满足 $U(\hat{\boldsymbol{\beta}})=\mathbf{0}$。
观测信息（observed information）： $$J(\boldsymbol{\beta})=-\,\frac{\partial^{2}\ell(\boldsymbol{\beta})}{\partial\boldsymbol{\beta}\,\partial\boldsymbol{\beta}^{\top}} =-\nabla^{2}\ell(\boldsymbol{\beta}) \qquad (p+1)\times(p+1)\ \text{矩阵，通常正定}.$$ Fisher 信息（expected information）： $$I(\boldsymbol{\beta})=\mathbb{E}\big[J(\boldsymbol{\beta})\big]=\mathbb{E}\Big[-\frac{\partial^{2}\ell(\boldsymbol{\beta})}{\partial\boldsymbol{\beta}\,\partial\boldsymbol{\beta}^{\top}}\Big].$$

对任意 $\boldsymbol{\beta}$，$\displaystyle\int f(\mathbf{y};\boldsymbol{\beta})\,\mathrm{d}\mathbf{y}=1$。对 $\boldsymbol{\beta}$ 求一次导（并在积分号下求导）： $$\mathbf{0}=\int \frac{\partial f}{\partial\boldsymbol{\beta}}\,\mathrm{d}\mathbf{y}=\int f\,\frac{\partial\ell}{\partial\boldsymbol{\beta}}\,\mathrm{d}\mathbf{y}=\mathbb{E}\big[U(\boldsymbol{\beta})\big].$$ 再求一次导： $$\mathbf{0}=\int\Big(f\,\frac{\partial^{2}\ell}{\partial\boldsymbol{\beta}\partial\boldsymbol{\beta}^{\top}}+f\,\frac{\partial\ell}{\partial\boldsymbol{\beta}}\frac{\partial\ell}{\partial\boldsymbol{\beta}^{\top}}\Big)\mathrm{d}\mathbf{y} =\mathbb{E}\big[\nabla^{2}\ell\big]+\mathbb{E}\big[UU^{\top}\big].$$ 由 $\mathbb{E}[U]=\mathbf{0}$ 得 $\mathbb{E}[UU^{\top}]=\operatorname{Var}(U)$，所以 $$\begin{equation} I(\boldsymbol{\beta})=\mathbb{E}\big[J(\boldsymbol{\beta})\big]=-\mathbb{E}\big[\nabla^{2}\ell\big]=\mathbb{E}\big[UU^{\top}\big]=\operatorname{Var}\big(U(\boldsymbol{\beta})\big). \end{equation}$$

由 （见对应公式/小节），$U=\dfrac{1}{a(\phi)}\mathbf{X}^{\top}\mathbf{W}(\boldsymbol{\xi}-\mathbf{X}\boldsymbol{\beta})$，且 $\operatorname{Var}(\xi_i)=a(\phi)/w_i$、各观测独立： $$\operatorname{Var}(U)=\frac{1}{a(\phi)^{2}}\,\mathbf{X}^{\top}\mathbf{W}\,\operatorname{Var}(\boldsymbol{\xi})\,\mathbf{W}\mathbf{X} =\frac{1}{a(\phi)^{2}}\,\mathbf{X}^{\top}\mathbf{W}\,\big(a(\phi)\mathbf{W}^{-1}\big)\,\mathbf{W}\mathbf{X} =\frac{1}{a(\phi)}\,\mathbf{X}^{\top}\mathbf{W}\mathbf{X}.$$ 所以 $$\begin{equation} I(\boldsymbol{\beta})=\frac{1}{a(\phi)}\,\mathbf{X}^{\top}\mathbf{W}\mathbf{X}. \end{equation}$$

在当前点 $\boldsymbol{\beta}^{(k)}$ 附近把得分线性化： $$U(\boldsymbol{\beta})\approx U(\boldsymbol{\beta}^{(k)})+\nabla U(\boldsymbol{\beta}^{(k)})\,(\boldsymbol{\beta}-\boldsymbol{\beta}^{(k)}) =U(\boldsymbol{\beta}^{(k)})-J(\boldsymbol{\beta}^{(k)})\,(\boldsymbol{\beta}-\boldsymbol{\beta}^{(k)}).$$ 令它等于 $\mathbf{0}$（我们要求 $\hat{\boldsymbol{\beta}}$）： $$\begin{equation} \boldsymbol{\beta}^{(k+1)}=\boldsymbol{\beta}^{(k)}+\big[J(\boldsymbol{\beta}^{(k)})\big]^{-1}U(\boldsymbol{\beta}^{(k)}). \end{equation}$$

二次收敛：靠近解时误差大致按平方缩小（有效数字每步翻倍），所以通常 4–5 步就够。
停止准则（三选一或并用）：$\max_j|\beta_j^{(k+1)}-\beta_j^{(k)}|<\varepsilon$；$|\ell(\boldsymbol{\beta}^{(k+1)})-\ell(\boldsymbol{\beta}^{(k)})|<\varepsilon$；$\max_j|U_j|<\varepsilon$。
失败情形（课件第 18 帧最后一段）：数据"极端"时 $\ell$ 没有有限最大值，迭代会给出越来越大的 $|\hat\beta|$ 和越来越大的标准误——典型例子是完全分离（某条线把 $y=0$ 与 $y=1$ 完全分开）。

给定 $\boldsymbol{\beta}^{(k)}$：
第 1 步： 算 $\eta_i^{(k)}=\mathbf{x}_i^{\top}\boldsymbol{\beta}^{(k)}$ 与 $\mu_i^{(k)}=g^{-1}\big(\eta_i^{(k)}\big)$；
第 2 步： 算权 $\mathbf{W}^{(k)}$（对角元 $w_i^{(k)}=1/\big[V(\mu_i^{(k)})g'(\mu_i^{(k)})^2\big]$）与工作响应 $$\xi_i^{(k)}=\eta_i^{(k)}+g'\big(\mu_i^{(k)}\big)\big(y_i-\mu_i^{(k)}\big);$$ 第 3 步： 解一个加权最小二乘问题 $$\begin{equation} \boldsymbol{\beta}^{(k+1)}=\big(\mathbf{X}^{\top}\mathbf{W}^{(k)}\mathbf{X}\big)^{-1}\mathbf{X}^{\top}\mathbf{W}^{(k)}\boldsymbol{\xi}^{(k)} . \end{equation}$$ 重复到收敛。

把 （见对应公式/小节） 展开，代入 $U=\frac{1}{a}\mathbf{X}^{\top}\mathbf{W}(\boldsymbol{\xi}-\mathbf{X}\boldsymbol{\beta})$ 与 $I=\frac{1}{a}\mathbf{X}^{\top}\mathbf{W}\mathbf{X}$： $$\boldsymbol{\beta}^{(k+1)}=\boldsymbol{\beta}^{(k)}+\big(\mathbf{X}^{\top}\mathbf{W}\mathbf{X}\big)^{-1}\mathbf{X}^{\top}\mathbf{W}\big(\boldsymbol{\xi}-\mathbf{X}\boldsymbol{\beta}^{(k)}\big) =\big(\mathbf{X}^{\top}\mathbf{W}\mathbf{X}\big)^{-1}\mathbf{X}^{\top}\mathbf{W}\boldsymbol{\xi}.$$ $a(\phi)$ 在 $I^{-1}U$ 中约掉——这就是"拟合 $\boldsymbol{\beta}$ 不需要知道 $\phi$"的确切含义。

WLS/GLS 估计量对 $\mathbf{y}$ 是线性的（$\hat{\boldsymbol{\beta}}=(\mathbf{X}^{\top}\mathbf W\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf W\mathbf{y}$），而非正态 GLM 的 MLE 对 $\mathbf{y}$ 非线性（logistic 的 $\hat\beta_1$ 不是 $y_1,\dots,y_n$ 的线性函数）。所以一般不能说"GLM 的 MLE 就是 WLS"，只能说"GLM 的 MLE 可以用反复的 WLS 算出来"——这也是 Nelder 与 Wedderburn 1972 年把它命名为 iteratively reweighted least squares 的原因。

典则连接时 $\theta_i=\eta_i=\mathbf{x}_i^{\top}\boldsymbol{\beta}$，由 （见对应公式/小节）， $$\ell(\boldsymbol{\beta})=\frac{1}{a(\phi)}\sum_{i=1}^{n}\big[y_i\mathbf{x}_i^{\top}\boldsymbol{\beta}-b(\mathbf{x}_i^{\top}\boldsymbol{\beta})\big]+\text{const.}$$ 一阶导与二阶导： $$U(\boldsymbol{\beta})=\frac{1}{a(\phi)}\mathbf{X}^{\top}(\mathbf{y}-\boldsymbol{\mu}), \qquad \nabla^{2}\ell(\boldsymbol{\beta})=-\frac{1}{a(\phi)}\mathbf{X}^{\top}\operatorname{diag}\big(b''(\eta_i)\big)\mathbf{X} =-\frac{1}{a(\phi)}\mathbf{X}^{\top}\operatorname{diag}\big(V(\mu_i)\big)\mathbf{X}.$$ 二阶导不含 $\mathbf{y}$，所以取期望不改变它： $$J(\boldsymbol{\beta})=I(\boldsymbol{\beta})=\frac{1}{a(\phi)}\mathbf{X}^{\top}\mathbf{W}\mathbf{X}, \qquad w_i=V(\mu_i).$$ 于是 （见对应公式/小节） 与 （见对应公式/小节） 是同一个迭代，而 （见对应公式/小节） 只是它的算法写法。

课件建议 $\boldsymbol{\mu}^{(0)}=\mathbf{y}$，即 $\eta_i^{(0)}=g(y_i)$，再用 $\boldsymbol{\beta}^{(0)}=(\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\boldsymbol\eta^{(0)}$ 起步。
实际软件会做一点"抖动"以避免 $0$ 与 $1$：二项用 $\mu^{(0)}=(y+0.5)/2$，泊松用 $\mu^{(0)}=\max(y,0.1)$。本讲义的数值演示用的就是这两个（与 R 的 glm 一致）。

渐近理论给出 $\hat{\boldsymbol{\beta}}\ \dot\sim\ \mathrm{N}\big(\boldsymbol{\beta},\ I(\boldsymbol{\beta})^{-1}\big)$，于是 $$\widehat{\operatorname{Cov}}(\hat{\boldsymbol{\beta}})=a(\phi)\,\big(\mathbf{X}^{\top}\mathbf{W}\mathbf{X}\big)^{-1}, \qquad \mathrm{se}(\hat\beta_j)=\sqrt{\big[\widehat{\operatorname{Cov}}(\hat{\boldsymbol{\beta}})\big]_{jj}} .$$ 二项与泊松的 $a(\phi)=1$，所以直接用 $(\mathbf{X}^{\top}\mathbf{W}\mathbf{X})^{-1}$；正态、伽马、逆高斯要再乘 $\hat\phi$。

饱和模型（saturated model）：对每个观测 $i$ 单独设一个参数，使拟合值恰好等于观测值 $$\tilde\mu_i=y_i, \qquad\text{即}\qquad \tilde\theta_i=\theta(y_i)=(b')^{-1}(y_i).$$ 它的对数似然 $\ell(\mathbf{y};\mathbf{y})$ 是这份数据能达到的最大值：任何其他模型都只能更小。

若模型 A 的自变量集合是模型 B 的自变量集合的子集，称 A 嵌套于 B。例如 $$\text{只含截距}\ \subset\ \text{含 }x_1\ \subset\ \text{含 }x_1,x_2 .$$ 只有嵌套模型之间，偏差之差才有 $\chi^{2}$ 分布（见 §4.6）。

尺度化偏差（scaled deviance）是两倍的对数似然差： $$\begin{equation} D^{*}(\mathbf{y};\hat{\boldsymbol{\mu}})=-2\big[\ell(\hat{\boldsymbol{\mu}};\mathbf{y})-\ell(\mathbf{y};\mathbf{y})\big]\ \ge 0 . \end{equation}$$

由 （见对应公式/小节）， $$\ell(\hat{\boldsymbol{\mu}};\mathbf{y})-\ell(\mathbf{y};\mathbf{y}) =\sum_{i=1}^{n}\frac{\big[y_i\hat\theta_i-b(\hat\theta_i)\big]-\big[y_i\tilde\theta_i-b(\tilde\theta_i)\big]}{a(\phi)} +\underbrace{\sum_i c(y_i;\phi)-\sum_i c(y_i;\phi)}_{=\,0}.$$ 注意 $c$ 的部分完全抵消。整理并与 （见对应公式/小节） 比较： $$D^{*}(\mathbf{y};\hat{\boldsymbol{\mu}}) =\frac{2}{a(\phi)}\sum_{i=1}^{n}\Big\{\big[y_i\tilde\theta_i-b(\tilde\theta_i)\big]-\big[y_i\hat\theta_i-b(\hat\theta_i)\big]\Big\} =\frac{D(\mathbf{y};\hat{\boldsymbol{\mu}})}{a(\phi)},$$ 其中 $$\begin{equation} {\;D(\mathbf{y};\hat{\boldsymbol{\mu}})=2\sum_{i=1}^{n}\Big\{y_i\big(\tilde\theta_i-\hat\theta_i\big)-b(\tilde\theta_i)+b(\hat\theta_i)\Big\}\;} \end{equation}$$ 称为偏差（deviance）。