从参数关系链理解 GLM：典则链接与非典则链接

Canonical link and non-canonical link

MTH303 Linear Statistical Models

从参数关系链理解 GLM

典则链接与非典则链接的详细推导 Canonical and non-canonical links

这份讲义回答的核心问题是：给定回归系数以后，怎样一步步得到均值和自然参数；反过来，为什么对似然求导时会出现一串导数？ 全文沿用课程第 5 章的记号，特别约定 $h$ 表示从 $\eta$ 到 $\theta$ 的函数。

建议的阅读顺序

1. 先读第 1–5 节：把函数方向、反函数、复合函数弄清楚。

2. 再读第 6–9 节：用同一个 Bernoulli 分布比较 logit 和 probit。

3. 第 10–12 节检验理解：换成 Poisson、Gamma、正态和二项分布，关系链如何变化？

4. 第 13–16 节解释链式求导及 MLE；首次阅读可先看到得分函数，再回来看信息矩阵。

5. 最后用速查表和练习检查自己能否从头推导，而不仅是辨认公式。

版本：2026 年 10 月 23 日。正文以中文解释，保留课程常用英文术语。 数值例子均为教学构造；小数保留六位左右。

先分清：哪些是参数，哪些是函数？

先考虑一个观测 $Y$，以免下标遮住主线；涉及回归时再恢复下标 $i$。 所有均值和分布均理解为给定协变量 $\mathbf x_i$ 的条件量，后文省略条件记号。

同一个观测的不同坐标

对 Bernoulli 响应，若成功概率为 $0.8$，则均值 $\mu=0.8$，自然参数为 $$\theta=\log\frac{0.8}{1-0.8}=\log4=1.386294.$$ 采用 logit 链接时，$\eta=1.386294$；采用 probit 链接时， $\eta=\Phi^{-1}(0.8)=0.841621$。这些数值不同，因为它们描述同一个均值所使用的坐标不同。

为什么不能当作三组独立未知数？

当 $\boldsymbol\beta$、分布和链接指定后，$\eta_i,\mu_i,\theta_i$ 全部随之确定。 拟合过程中主要搜索同一组 $\boldsymbol\beta$；不能让每个 $\theta_i$ 或 $\mu_i$ 自由变化而仍称其为原来的回归模型。 若 $\phi$ 未知，可另行估计；这里对 $\boldsymbol\beta$ 求导时固定 $\phi$。

第一条关系：为什么 $\mu=b'(\theta)$？

考虑课程使用的一参数指数族形式： $$\begin{equation} \label{eq:edf} f(y;\theta,\phi)=\exp\left\{\frac{y\theta-b(\theta)}{a(\phi)}+c(y;\phi)\right\}, \qquad a(\phi)>0. \end{equation}$$ $\theta$ 的范围由分布决定，不必为整个实数轴。 假设分布非退化、支撑不依赖 $\theta$，且可交换积分与求导。 离散情形将积分换成求和即可。

第 1 步：对数把指数拆开

$$\ell(\theta;y)=\log f(y;\theta,\phi) =\frac{y\theta-b(\theta)}{a(\phi)}+c(y;\phi).$$ 对 $\theta$ 求导时，$y$ 是观察到的数，$\phi$ 固定，$c$ 不依赖 $\theta$： $$\frac{\partial\ell}{\partial\theta}=\frac{y-b'(\theta)}{a(\phi)}.$$

第 2 步：利用概率总和为 1

$$\int f(y;\theta,\phi)\,\mathrm dy=1 \quad\Longrightarrow\quad \int\frac{\partial f}{\partial\theta}\,\mathrm dy=0.$$ 由于 $\partial f/\partial\theta=f\,\partial(\log f)/\partial\theta$，所以 $$0=\int f(y;\theta,\phi)\frac{\partial\log f(y;\theta,\phi)}{\partial\theta}\,\mathrm dy =\mathbb E\!\left[\frac{\partial\log f(Y;\theta,\phi)}{\partial\theta}\right].$$

第 3 步：将第 1 步代入第 2 步

$$0=\mathbb E\!\left[\frac{Y-b'(\theta)}{a(\phi)}\right] =\frac{\mathbb E[Y]-b'(\theta)}{a(\phi)} \quad\Longrightarrow\quad \boxed{\mu=\mathbb E[Y]=b'(\theta)}.$$ 期望是对随机变量 $Y$ 求的；$b'(\theta)$ 和 $a(\phi)$ 在该期望下是固定数。

为什么能反解？反函数与倒数有何不同？

从方差得到单调性

再求一次导数：$\ell_{\theta\theta}=-b''(\theta)/a(\phi)$。 对归一化条件求两次导数： $$0=\int f\{\ell_{\theta\theta}+\ell_\theta^2\}\,\mathrm dy =-\frac{b''(\theta)}{a(\phi)} +\frac{\mathbb E[(Y-\mu)^2]}{a(\phi)^2}.$$ 于是 $$\begin{equation} \label{eq:variance} \boxed{\operatorname{Var}(Y)=a(\phi)b''(\theta).} \end{equation}$$ 非退化分布有 $\operatorname{Var}(Y)>0$，故 $b''(\theta)>0$。 在所考虑的自然参数区间上，$b'$ 严格递增，可以反解： $$\mu=b'(\theta)\quad\Longleftrightarrow\quad\theta=(b')^{-1}(\mu).$$ 定义 $V(\mu)=b''((b')^{-1}(\mu))$，则 $$\boxed{b''(\theta)=V(\mu),\qquad \operatorname{Var}(Y)=a(\phi)V(\mu).}$$ 注意 $V(\mu)$ 一般不等于完整方差；二者相差 $a(\phi)$。

用 Poisson 把三种符号分开

Poisson 有 $b(\theta)=e^\theta$，因而 $b'(\theta)=e^\theta$： $$\begin{align*} \text{求导：}\quad &b''(\theta)=e^\theta;\\ \text{取倒数：}\quad &1/b'(\theta)=e^{-\theta};\\ \text{取反函数：}\quad &(b')^{-1}(\mu)=\log\mu. \end{align*}$$ 第三行是在解方程：若 $\mu=e^\theta$，哪个 $\theta$ 对应给定的 $\mu$？ 答案是 $\theta=\log\mu$，不是 $1/\mu$。

第二条关系与复合函数 $h$：逐层代入

第 1 步：由回归系数算线性预测子

$$\eta_i=\mathbf x_i^\mathsf T\boldsymbol\beta=\beta_0+\beta_1x_{i1}+\cdots+\beta_px_{ip}.$$ 给定 $\mathbf x_i$，$\eta_i$ 是 $\boldsymbol\beta$ 的线性函数；$\mu_i$ 通常不是。

第 2 步：选链接并反解均值

GLM 规定 $\eta_i=g(\mu_i)$。当 $g$ 在所用均值区间上一一对应时， $$\mu_i=g^{-1}(\eta_i)=g^{-1}(\mathbf x_i^\mathsf T\boldsymbol\beta).$$ 链接的定义方向为 $\mu\to\eta$，预测的计算方向为 $\eta\to\mu$，所以预测时出现反函数。

第 3 步：由均值反解自然参数

$$\begin{align*} \theta_i&=(b')^{-1}(\mu_i)&&\text{（来自分布）}\\ &=(b')^{-1}(g^{-1}(\eta_i))&&\text{（代入第 2 步）}\\ &=(b')^{-1}(g^{-1}(\mathbf x_i^\mathsf T\boldsymbol\beta))&&\text{（代入第 1 步）}. \end{align*}$$ 将最后两个变换合并命名： $$\begin{equation} \label{eq:h} \boxed{h=(b')^{-1}\circ g^{-1},\qquad\theta_i=h(\eta_i).} \end{equation}$$ $F\circ G$ 表示先做 $G$，再做 $F$；这里必须先求 $g^{-1}(\eta)$。

反过来走，得到同一个结论

$$\theta\xrightarrow{\,b'\,}\mu\xrightarrow{\,g\,}\eta,\qquad\eta=g(b'(\theta)).$$ 所以 $h=(g\circ b')^{-1}$。复合函数取逆时操作顺序倒过来， 正好得到 $(b')^{-1}\circ g^{-1}$。

典则链接：究竟是哪两步抵消了？

定义先于化简

分布确定了 $b'$，但建模时仍需选择 $g$。特别选择 $$\boxed{g_{\mathrm{can}}=(b')^{-1}}$$ 时，称 $g$ 为典则链接（canonical link，也译规范链接）。

路线一：从均值出发

因为 $\mu=b'(\theta)$， $$\begin{align*} \eta&=g_{\mathrm{can}}(\mu)\\ &=(b')^{-1}(\mu)\\ &=(b')^{-1}(b'(\theta))\\ &=\theta. \end{align*}$$ 最后一步是“一个函数的反函数撤销这个函数的作用”。

路线二：从线性预测子出发

由 $g_{\mathrm{can}}=(b')^{-1}$ 得 $g_{\mathrm{can}}^{-1}=b'$，所以 $$\eta\xrightarrow{\,g^{-1}=b'\,}\mu \xrightarrow{\,(b')^{-1}\,}\theta=\eta.$$ 因此 $$h(\eta)=(b')^{-1}(b'(\eta))=\eta,\qquad h'(\eta)=1,\qquad h''(\eta)=0.$$ 也就是说，$\theta_i=\eta_i=\mathbf x_i^\mathsf T\boldsymbol\beta$：自然参数直接由回归系数线性给出。

判断链接是否典则，应比较整个函数 $g(\mu)$ 与 $(b')^{-1}(\mu)$，不能只代入一个数； 而且必须先说明响应分布和参数化。

例一的准备：从 Bernoulli 密度得到 $\theta$

设 $Y\sim\mathrm{Bernoulli}(\pi)$，其中 $0<\pi<1$， $$\Pr(Y=y)=\pi^y(1-\pi)^{1-y},\qquad y\in\{0,1\}.$$ $\pi$ 是成功概率；它与 $\mu,\theta,\eta$ 的关系需要推导。

第 1 步：取对数并收集含 $y$ 的项

$$\begin{align*} \log f(y)&=y\log\pi+(1-y)\log(1-\pi)\\ &=y\{\log\pi-\log(1-\pi)\}+\log(1-\pi)\\ &=y\log\frac{\pi}{1-\pi}+\log(1-\pi). \end{align*}$$ 与 $y\theta-b(\theta)$ 比较，含 $y$ 的系数提示我们取 $$\boxed{\theta=\log\frac{\pi}{1-\pi}}.$$

第 2 步：用 $\theta$ 表示其余部分

$$\begin{align*} e^\theta=\frac{\pi}{1-\pi} &\ \Longrightarrow\ e^\theta(1-\pi)=\pi\\ &\ \Longrightarrow\ e^\theta=\pi(1+e^\theta)\\ &\ \Longrightarrow\ \pi=\frac{e^\theta}{1+e^\theta}. \end{align*}$$ 于是 $1-\pi=1/(1+e^\theta)$，从而 $$\log f(y)=y\theta-\log(1+e^\theta).$$ 所以 $a=1,\ b(\theta)=\log(1+e^\theta),\ c=0$。

第 3 步：求均值、方差函数和反函数

$$\mu=b'(\theta)=\frac{e^\theta}{1+e^\theta}=\pi,\qquad V(\mu)=b''(\theta)=\mu(1-\mu).$$ $$(b')^{-1}(\mu)=\log\frac{\mu}{1-\mu}=\mathop{\mathrm{logit}}(\mu).$$

例一 A：Bernoulli + logit，完整走一遍

选择 $g(\mu)=\mathop{\mathrm{logit}}(\mu)=\log\{\mu/(1-\mu)\}$。 它等于上一节得到的 $(b')^{-1}$，所以是 Bernoulli 的典则链接。

从 $\boldsymbol\beta$ 到 $\mu$：反解链接

$$\eta=\beta_0+\beta_1x=\log\frac{\mu}{1-\mu}.$$ 对两边取指数，再解 $\mu$： $$e^\eta=\frac{\mu}{1-\mu} \ \Longrightarrow\ e^\eta(1-\mu)=\mu \ \Longrightarrow\ \boxed{\mu=\frac{e^\eta}{1+e^\eta}}.$$ 将这个函数记为 $\mathop{\mathrm{expit}}(\eta)$，也称 logistic 函数。

从 $\mu$ 到 $\theta$：再应用分布关系

$$\begin{align*} \theta&=\log\frac{\mu}{1-\mu}\\ &=\log\left\{\frac{e^\eta/(1+e^\eta)}{1/(1+e^\eta)}\right\}\\ &=\log(e^\eta)=\eta. \end{align*}$$ 整条链为 $$\boldsymbol\beta\longrightarrow\eta \longrightarrow\frac{e^\eta}{1+e^\eta} \longrightarrow\theta=\eta.$$

数值例子：$\beta_0=-0.4,\ \beta_1=0.6,\ x=2$

$$\begin{align*} \eta&=-0.4+0.6\times2=0.8,\\ \mu&=\frac{e^{0.8}}{1+e^{0.8}}=0.689974,\\ \theta&=\log\frac{0.689974}{1-0.689974}\approx0.8. \end{align*}$$ 这里预测的是 $\Pr(Y=1\mid x=2)\approx0.6900$，不是 $Y$ 一定等于这个数。 实际观测仍只能是 0 或 1。

例一 B：Bernoulli + probit，$h$ 如何变化？

保留同一个 Bernoulli 分布，改选 $g(\mu)=\Phi^{-1}(\mu)$。 其中 $\Phi$ 是标准正态分布函数；其密度记为 $\varphi(t)=(2\pi)^{-1/2}e^{-t^2/2}$，以区别离散参数 $\phi$。

第 1 步：线性预测子没有改变定义

$$\eta=\beta_0+\beta_1x.$$

第 2 步：由新的逆链接得到均值

$$\eta=\Phi^{-1}(\mu)\quad\Longrightarrow\quad\boxed{\mu=\Phi(\eta)}.$$

第 3 步：仍用 Bernoulli 的关系得到自然参数

$$\theta=\mathop{\mathrm{logit}}(\mu) =\mathop{\mathrm{logit}}(\Phi(\eta)) =\log\frac{\Phi(\eta)}{1-\Phi(\eta)}.$$ 所以 $$\begin{equation} \label{eq:probit_h} \boxed{h(\eta)=\log\frac{\Phi(\eta)}{1-\Phi(\eta)}}. \end{equation}$$ 不能把 $\theta$ 改写为 $\Phi^{-1}(\mu)$：这个新表达式定义的是 $\eta$，不是密度中的自然参数。

仍取 $\beta_0=-0.4,\ \beta_1=0.6,\ x=2$

$$\begin{align*} \eta&=0.8,\\ \mu&=\Phi(0.8)=0.788145,\\ \theta&=\mathop{\mathrm{logit}}(\Phi(0.8))=1.313778. \end{align*}$$ 这里 $\theta\ne\eta$。与 logit 的 $\mu=0.689974$ 相比， 同样的系数给出不同的预测均值。 这些系数是人为给定的教学值，并非对同一数据拟合后必然得到的系数。

比较链接时，必须说清楚固定了什么

比较一：固定同一个均值 $\mu=0.8$

因为分布均为 Bernoulli，自然参数必为 $\theta=\log4$：

将 $\eta$ 代回各自的 $h$，都应得到同一个 $\theta$：

这里可以说“自然参数不变”，前提是均值固定在同一个数。

比较二：固定同一个 $\eta=0.8$

例如固定同一组 $\mathbf x,\boldsymbol\beta$。改变逆链接通常会改变均值：

两个表不矛盾：第一个固定均值，第二个固定线性预测子。

“非典则”也可能出现数值相等

令 $\eta=0$。对 probit， $$\mu=\Phi(0)=1/2,\qquad\theta=\mathop{\mathrm{logit}}(1/2)=0=\eta.$$ 但在 $\eta=0.8$ 时，已经看到 $\theta\ne\eta$。因此 h_probit 不是恒等函数。 检查 canonical 要比较函数，不能只检查一个观测或一个点。

例二：Poisson 的 log、identity 与 sqrt 链接

先从分布确定不能随链接改变的关系

若 $Y\sim\mathrm{Poisson}(\mu)$， $$f(y)=\frac{\mu^ye^{-\mu}}{y!} =\exp\{y\log\mu-\mu-\log(y!)\}.$$ 因此 $$\theta=\log\mu,\quad b(\theta)=e^\theta,\quad a=1,\quad \mu=b'(\theta)=e^\theta,\quad V(\mu)=\mu.$$

A. log 链接：$g(\mu)=\log\mu$，典则

$$\eta=\log\mu\Longrightarrow\mu=e^\eta \Longrightarrow\theta=\log(e^\eta)=\eta.$$ 所以 $h(\eta)=\eta,\ h'=1$，任意实数 $\eta$ 都产生正均值。 若 $\mu=4$，则 $\eta=\theta=\log4=1.386294$。

B. identity 链接：$g(\mu)=\mu$，非典则

$$\eta=\mu\Longrightarrow\mu=\eta\Longrightarrow\theta=\log\eta.$$ 所以 $h(\eta)=\log\eta,\ h'=1/\eta$，必须有 $\eta>0$。 若 $\mu=4$，则 $\eta=4$，但 $\theta=\log4$。 identity link 只让 $\eta=\mu$，不自动让 $\eta=\theta$。

C. sqrt 链接：$g(\mu)=\sqrt\mu$，非典则

$$\eta=\sqrt\mu\Longrightarrow\mu=\eta^2 \Longrightarrow\theta=2\log\eta,\qquad\eta>0.$$ 所以 $h'=2/\eta$。若 $\mu=4$，则 $\eta=2,\theta=\log4$。 $\eta>0$ 来自正平方根链接；不能因为平方可计算，就把负 $\eta$ 当作该链接的合法逆像。

例三：Gamma 为什么与 Poisson 的结论不同？

用均值 $\mu>0$、shape $1/\phi>0$、scale $\phi\mu$ 参数化 Gamma： $$f(y;\mu,\phi)= \frac{y^{1/\phi-1}e^{-y/(\phi\mu)}} {\Gamma(1/\phi)(\phi\mu)^{1/\phi}},\qquad y>0.$$ 取对数并将含 $\mu$ 的项集中： $$\log f(y)=\frac{-y/\mu-\log\mu}{\phi} +\underbrace{\left(\frac1\phi-1\right)\log y -\frac{\log\phi}{\phi}-\log\Gamma(1/\phi)}_{c(y;\phi)}.$$ 于是取 $$\theta=-1/\mu<0,\quad b(\theta)=-\log(-\theta),\quad a(\phi)=\phi.$$ 核对： $$b'(\theta)=-1/\theta=\mu,\quad b''(\theta)=1/\theta^2=\mu^2,\quad \operatorname{Var}(Y)=\phi\mu^2.$$

A. 严格按上述参数化，典则链接为 $g(\mu)=-1/\mu$

$$\eta=-1/\mu\Longrightarrow\mu=-1/\eta \Longrightarrow\theta=-1/\mu=\eta,\qquad\eta<0.$$ 所以 $h=\mathop{\mathrm{id}}$。例如 $\mu=2$ 时，$\eta=\theta=-0.5$。

B. log 链接为 $g(\mu)=\log\mu$

$$\eta=\log\mu\Longrightarrow\mu=e^\eta \Longrightarrow\theta=-e^{-\eta}.$$ 所以 $h(\eta)=-e^{-\eta}$，$h'(\eta)=e^{-\eta}=1/\mu$。 若 $\mu=2$，则 $\eta=\log2=0.693147,\theta=-0.5$。 同一个 log 链接，对 Poisson 是典则，对 Gamma 则不是。

正态与二项：两个能暴露记号问题的例子

正态：三者可以一起相等

设 $Y\sim N(\mu,\sigma^2)$，展开平方： $$\log f(y)=\frac{y\mu-\mu^2/2}{\sigma^2} -\frac{y^2}{2\sigma^2}-\frac12\log(2\pi\sigma^2).$$ 采用 $a=\sigma^2,\theta=\mu,b(\theta)=\theta^2/2$，则 $$\mu=b'(\theta)=\theta,\qquad V(\mu)=1.$$ identity 是典则链接，且 $\eta=\mu=\theta$。 若把正态均值限制为正数并采用 log 链接，则 $$\eta=\log\mu,\quad \mu=e^\eta,\quad\theta=e^\eta,\quad h(\eta)=e^\eta.$$ 此时 $h=g^{-1}$，只是因为这个分布的 $(b')^{-1}$ 恰好是恒等函数。

二项计数：$\mu$ 不等于成功概率

设 $Y\sim\mathrm{Binomial}(m,\pi)$，已知试验次数 $m$，以免与样本量 $n$ 混淆。 $$\log f(y)=y\log\frac{\pi}{1-\pi}+m\log(1-\pi)+\log\binom my.$$ 因此 $$\theta=\mathop{\mathrm{logit}}(\pi),\quad b(\theta)=m\log(1+e^\theta),\quad \mu=b'(\theta)=m\pi.$$ 将 $\pi=\mu/m$ 代回自然参数： $$\theta=\log\frac{\mu/m}{1-\mu/m}=\log\frac{\mu}{m-\mu}.$$ 所以对于计数均值 $\mu$，典则链接为

把关系链变成导数链：逐项推导

假设 $g$ 可微且 $g'(\mu)\ne0$。始终在对应的 $\eta,\mu=g^{-1}(\eta),\theta=h(\eta)$ 处计算导数。

因子一：$\boldsymbol\beta\to\eta$

$$\eta_i=\sum_{k=0}^{p}x_{ik}\beta_k \quad\Longrightarrow\quad\frac{\partial\eta_i}{\partial\beta_j}=x_{ij}.$$ 截距对应 $x_{i0}=1$。这一项由线性预测子的定义得到。

因子二：$\eta\to\mu$

对 $\eta=g(\mu(\eta))$ 关于 $\eta$ 求导： $$1=g'(\mu)\frac{\mathrm d\mu}{\mathrm d\eta} \quad\Longrightarrow\quad \boxed{\frac{\mathrm d\mu}{\mathrm d\eta}=\frac1{g'(\mu)}}.$$ 分母在 $\mu$ 处求值，不是 $g'(\eta)$。

因子三：$\mu\to\theta$

对 $\mu=b'(\theta(\mu))$ 关于 $\mu$ 求导： $$1=b''(\theta)\frac{\mathrm d\theta}{\mathrm d\mu} \quad\Longrightarrow\quad \boxed{\frac{\mathrm d\theta}{\mathrm d\mu}=\frac1{b''(\theta)}=\frac1{V(\mu)}}.$$

先合并两步，再接上线性预测子

$$\begin{align} h'(\eta)=\frac{\mathrm d\theta}{\mathrm d\eta} &=\frac{\mathrm d\theta}{\mathrm d\mu}\frac{\mathrm d\mu}{\mathrm d\eta} =\boxed{\frac1{V(\mu)g'(\mu)}},\label{eq:hprime}\\ \frac{\partial\theta_i}{\partial\beta_j} &=h'(\eta_i)x_{ij},\qquad \frac{\partial\mu_i}{\partial\beta_j}=\frac{x_{ij}}{g'(\mu_i)}.\nonumber \end{align}$$

为什么 MLE 需要这条链？从 $\ell$ 求到 $\boldsymbol\beta$

给定独立观测，记 $a_i=a_i(\phi)>0$；对 $\boldsymbol\beta$ 求导时 $a_i$ 为常数。 允许不同 $a_i$ 可容纳已知观测权重；普通 Bernoulli 和 Poisson 均有 $a_i=1$。

先把似然真正写成 $\boldsymbol\beta$ 的函数

$$\begin{align*} \ell(\boldsymbol\beta;\phi)&=\sum_i\left\{\frac{y_i\theta_i-b(\theta_i)}{a_i}+c(y_i;\phi)\right\}\\ &=\sum_i\left\{\frac{y_i h(\mathbf x_i^\mathsf T\boldsymbol\beta)-b(h(\mathbf x_i^\mathsf T\boldsymbol\beta))}{a_i}+c(y_i;\phi)\right\}. \end{align*}$$ 第一行没有直接显示 $\boldsymbol\beta$ 藏在什么位置。 第二行将依赖关系展开：$y_i$ 固定，$\theta_i$ 随 $\boldsymbol\beta$ 变化。

完整链式法则：四个因子各有来源

$$\beta_j\longrightarrow\eta_i\longrightarrow\mu_i \longrightarrow\theta_i\longrightarrow\ell_i.$$ $$\begin{align*} \frac{\partial\ell_i}{\partial\beta_j} &=\underbrace{\frac{\partial\ell_i}{\partial\theta_i}}_{\text{对数密度}} \quad\underbrace{\frac{\mathrm d\theta_i}{\mathrm d\mu_i}}_{\text{分布反解}} \quad\underbrace{\frac{\mathrm d\mu_i}{\mathrm d\eta_i}}_{\text{逆链接}} \quad\underbrace{\frac{\partial\eta_i}{\partial\beta_j}}_{\text{线性预测子}}\\[2mm] &=\frac{y_i-\mu_i}{a_i}\, \frac1{V(\mu_i)}\,\frac1{g'(\mu_i)}\,x_{ij}. \end{align*}$$ 对所有观测相加，得到得分函数的第 $j$ 个分量： $$\begin{equation} \label{eq:score} \boxed{U_j(\boldsymbol\beta)=\sum_i\frac{(y_i-\mu_i)x_{ij}}{a_iV(\mu_i)g'(\mu_i)} =\sum_i\frac{y_i-\mu_i}{a_i}h'(\eta_i)x_{ij}.} \end{equation}$$

典则时，究竟简化了什么？

$$h'(\eta_i)=1\quad\Longrightarrow\quad U_j(\boldsymbol\beta)=\sum_i\frac{(y_i-\mu_i)x_{ij}}{a_i}.$$ 若所有 $a_i=a$，矩阵写法为 $U=X^\mathsf T(\mathbf y-\boldsymbol\mu)/a$。

用一个数字例子核对整条导数链

仍取 $\beta_0=-0.4,\beta_1=0.6,x=2$，所以 $\eta=0.8$。 设实际观测 $y=1$，比较 logit 与 probit 的 $\partial\ell/\partial\beta_1$。本页只有一个 Bernoulli 观测，$a=1$。

A. logit：中间两个因子恰好抵消

$$\mu=0.689974,\qquad V=\mu(1-\mu)=0.213910.$$ $$\begin{align*} \frac{\mathrm d\theta}{\mathrm d\mu}&=\frac1{\mu(1-\mu)},\qquad \frac{\mathrm d\mu}{\mathrm d\eta}=\mu(1-\mu),\\ \frac{\partial\ell}{\partial\beta_1} &=(1-\mu)\frac1{\mu(1-\mu)}\mu(1-\mu)\times2\\ &=2(1-\mu)=0.620051. \end{align*}$$ 自然参数对 $\beta_1$ 的导数是 $h'(\eta)x=2$。

B. probit：中间两个因子不再抵消

现在 $\mu=\Phi(0.8)=0.788145$，分布仍为 Bernoulli，所以 $$\frac{\mathrm d\theta}{\mathrm d\mu}=\frac1{\mu(1-\mu)},\qquad \frac{\mathrm d\mu}{\mathrm d\eta}=\varphi(0.8)=0.289692.$$ $$\begin{align*} h'(0.8)&=\frac{\varphi(0.8)}{\Phi(0.8)[1-\Phi(0.8)]}=1.734964,\\ \frac{\partial\ell}{\partial\beta_1} &=(1-\mu)\frac{\varphi(0.8)}{\mu(1-\mu)}\times2\\ &=\frac{2\varphi(0.8)}{\Phi(0.8)}=0.735123. \end{align*}$$ 直接检查：当 $y=1$，$\ell=\log\Phi(\beta_0+\beta_1x)$， 求导为 $x\varphi(\eta)/\Phi(\eta)$，与上式一致。

进阶：链式求导怎样解释信息矩阵？

首次阅读可跳过本节。它解释为什么典则链接下，对 $\boldsymbol\beta$ 的观测信息与 Fisher 信息相同。 这里仍固定 $\phi$ 和设计矩阵，并假设所用函数具有所需二阶导数。

第 1 步：从得分出发，再求一次导数

单个观测的向量得分为 $$U_i(\boldsymbol\beta)=\frac{y_i-\mu_i}{a_i}h'(\eta_i)\mathbf x_i.$$ 对“残差”和 $h'$ 两项使用乘积法则： $$\frac{\mathrm d}{\mathrm d\eta_i}\{(y_i-\mu_i)h'(\eta_i)\} =-\frac{\mathrm d\mu_i}{\mathrm d\eta_i}h'(\eta_i) +(y_i-\mu_i)h''(\eta_i).$$ 因为 $\mu_i=b'(h(\eta_i))$， $$\frac{\mathrm d\mu_i}{\mathrm d\eta_i} =b''(\theta_i)h'(\eta_i)=V(\mu_i)h'(\eta_i).$$

第 2 步：写出负 Hessian，即观测信息

$$J(\boldsymbol\beta)=-\nabla^2\ell(\boldsymbol\beta) =\sum_i\frac{V(\mu_i)[h'(\eta_i)]^2-(y_i-\mu_i)h''(\eta_i)} {a_i}\mathbf x_i\mathbf x_i^\mathsf T.$$

第 3 步：对数据取期望

给定参数时，$\mathbb E[Y_i-\mu_i]=0$，故 $$\begin{align*} I(\boldsymbol\beta)=\mathbb E[J(\boldsymbol\beta)] &=\sum_i\frac{V(\mu_i)[h'(\eta_i)]^2}{a_i}\mathbf x_i\mathbf x_i^\mathsf T\\ &=\sum_i\frac{\mathbf x_i\mathbf x_i^\mathsf T}{a_iV(\mu_i)[g'(\mu_i)]^2}. \end{align*}$$ 典则时 $h'=1,h''=0$，所以 $J=I$。 在相同迭代点及更新规则下，Newton 方法与 Fisher scoring 使用同一个信息矩阵。

一页速查：先看分布，再看链接

三个辨析

$\eta=\theta$ 是典则性质；$\eta=\mu$ 是 identity link 的性质； $\theta=\mu$ 是本文正态参数化的性质。不要互相替换。

canonical 是结构上的简化，不是对预测优劣的保证。 选择非典则链接后，依然可以构造合法 GLM 并做似然估计。

$g(\mathbb E[Y\mid x])=\mathbf x^\mathsf T\boldsymbol\beta$ 不等于 $\mathbb E[g(Y)\mid x]=\mathbf x^\mathsf T\boldsymbol\beta$；链接作用在条件均值上。

练习：每题都写出中间的 $\mu$

先完成关系链，再计算数值。答案位于后两页。

练习 1：复合函数填空

已知 $\mu=b'(\theta)$、$\eta=g(\mu)$。补全： $$\eta\xrightarrow{\quad ?\quad}\mu\xrightarrow{\quad ?\quad}\theta, \qquad h=\ ?\ \circ\ ?.$$ 解释为什么 $h$ 一般不是 $g^{-1}$，并给出二者相同的一个例子。

练习 2：Bernoulli 的两种链接

令 $\beta_0=0,\beta_1=0.5,x=2$。 分别在 logit 与 probit 下求 $\eta,\mu,\theta,h'(\eta)$。 哪个链接是典则？probit 是否会改变 $\theta=\mathop{\mathrm{logit}}(\mu)$ 这个关系？

练习 3：Poisson + sqrt

设 $g(\mu)=\sqrt\mu$。推导 $g^{-1},h,h'$ 及 $\eta$ 的合法范围。 若 $\mu=9$、观测 $y=7$、协变量 $x=2$，求该观测对斜率得分的贡献。 这里 $\eta=\beta_0+\beta_1x$。

练习 4：Gamma + log

使用正文 Gamma 参数化，令 $\mu=2,\phi=0.5,y=3,x=1$。 求 $\eta,\theta,h'$，再通过四个因子的乘积求斜率得分。 完整方差与 $V(\mu)$ 是否相同？

练习 5：一个关于典则的反例

Bernoulli 模型选择 $g(\mu)=2\mathop{\mathrm{logit}}(\mu)$。 求 $h,h',h''$。严格按正文定义，它是 canonical 吗？ 观测信息与期望信息是否相等？这说明哪一个逆命题不成立？

练习 6：二项均值的记号

设 $Y\sim\mathrm{Binomial}(10,\pi)$，选 probit 回归 $\Phi^{-1}(\pi)=\eta$。 如果 $\eta=1$，求计数均值 $\mu=\mathbb E[Y]$ 和自然参数 $\theta$， 并写出作为计数均值函数的 $g(\mu)$。 为什么这里不能写 $\mu=\Phi(\eta)$？

练习答案 I：复合、Bernoulli 与 Poisson

练习 1

$$\eta\xrightarrow{g^{-1}}\mu\xrightarrow{(b')^{-1}}\theta,\qquad h=(b')^{-1}\circ g^{-1}.$$ $g^{-1}$ 输出均值，$h$ 输出自然参数。 例如本文正态参数化中 $\theta=\mu$，故 $h=g^{-1}$； 不能将这个特殊例子推广到所有分布。

练习 2

共同的第一步为 $\eta=0+0.5\times2=1$。 $$\begin{align*} \text{logit:}\quad&\mu=\mathop{\mathrm{expit}}(1)=0.731059,\\ &\theta=\mathop{\mathrm{logit}}(\mu)=1,\qquad h'(1)=1;\\[1mm] \text{probit:}\quad&\mu=\Phi(1)=0.841345,\\ &\theta=\mathop{\mathrm{logit}}(\Phi(1))=1.668268,\\ &h'(1)=\frac{\varphi(1)}{\Phi(1)[1-\Phi(1)]}\approx1.812735. \end{align*}$$ logit 是典则。probit 改变了由 $\eta$ 得到 $\mu$ 的方法， 没有改变 Bernoulli 的 $\theta=\mathop{\mathrm{logit}}(\mu)$。

练习 3

$$\eta=\sqrt\mu\Longrightarrow\mu=\eta^2 \Longrightarrow\theta=\log\mu=2\log\eta,\qquad\eta>0.$$ 所以 $g^{-1}(\eta)=\eta^2,\ h(\eta)=2\log\eta,\ h'=2/\eta$。 当 $\mu=9$ 时，$\eta=3,\theta=\log9,h'=2/3$。 $$\frac{\partial\ell}{\partial\beta_1} =\frac{y-\mu}{a}h'(\eta)x =(7-9)\frac23\times2=-\frac83.$$ 再用四个因子检查： $$(y-\mu)\times\frac1{V(\mu)}\times\frac1{g'(\mu)}\times x =(-2)\times\frac19\times6\times2=-\frac83.$$ 其中 $V=9,\ g'(\mu)=1/(2\sqrt\mu)=1/6$。 负得分表示在当前参数点，增加斜率会在一阶近似下降低该观测的对数似然。

练习答案 II 与参考说明

练习 4

$$\eta=\log2,\quad\theta=-1/2,\quad h'(\eta)=e^{-\eta}=1/2.$$ 这里 $a=\phi=0.5,\ V(\mu)=\mu^2=4$，完整方差为 $\operatorname{Var}(Y)=aV=2$。 四个因子为 $$\frac{\partial\ell}{\partial\theta}=\frac{3-2}{0.5}=2,\quad \frac{\mathrm d\theta}{\mathrm d\mu}=\frac14,\quad \frac{\mathrm d\mu}{\mathrm d\eta}=2,\quad \frac{\partial\eta}{\partial\beta_1}=1.$$ 故 $\partial\ell/\partial\beta_1=2\times(1/4)\times2\times1=1$。

练习 5

$$\eta=2\mathop{\mathrm{logit}}(\mu)\Longrightarrow\mu=\mathop{\mathrm{expit}}(\eta/2) \Longrightarrow\theta=\eta/2.$$ 因此 $h(\eta)=\eta/2,h'=1/2,h''=0$。它不是严格的 canonical， 但 $J=I$，说明 $J=I$ 不能反推严格的 canonical。 它与 logit 模型只差系数整体缩放。

练习 6

$$\pi=\Phi(1)=0.841345,\quad \mu=10\pi=8.413447,\quad \theta=\mathop{\mathrm{logit}}(\pi)=1.668268.$$ 作为计数均值的函数，链接应写为 $$g(\mu)=\Phi^{-1}(\mu/10),\quad g^{-1}(\eta)=10\Phi(\eta),\quad h(\eta)=\mathop{\mathrm{logit}}(\Phi(\eta)).$$ $\Phi(\eta)$ 是成功概率，不是十次试验的期望成功次数。

记号依据与进一步核对

本文采用课程第 4 章的指数族形式及第 5 章 Back to $\boldsymbol\beta$ 中的 $h=(b')^{-1}\circ g^{-1}$ 约定。 为避免混淆，将 $V(\mu)$ 定义为 $b''(\theta)$，将完整条件方差写为 $a_iV(\mu_i)$。

软件接口参照 R 的官方文档 family: Family Objects for Models： linkfun 对应 $g$，linkinv 对应 $g^{-1}$， mu.eta 对应 $\mathrm d\mu/\mathrm d\eta$。 mu.eta 通常不是本文的 $h'$；二者相差 $V(\mu)$： $$\frac{\mathrm d\mu}{\mathrm d\eta}=V(\mu)h'(\eta).$$ Gamma 软件命名及此处接口说明已与上述官方文档核对。 数值检查脚本随讲义保存，可复算概率、自然参数和有限差分导数。