Chapter 4: GLM Proofs

这份讲义怎么用 How to use these notes

课件上只给结果的地方，这里把中间每一步都写出来；每个式子都可以直接在黑板上照抄，每个数字都可以当场核对。全篇按课件的 42 帧编号推进，每节标题后面标出对应帧号，方便上课时与幻灯片同步翻页。

阅读顺序建议：第 1、2 节按帧顺序讲；第 3 节（指数族定义与均值方差定理）是本章的重心，定理的证明要能脱稿；第 4 节是八个特例的逐步分解，按同一套六步法写成，可以先讲正态与泊松，其余留作对照；第 5 节讲连接函数，第 6 节把模型设定收口。第 7 节是一份防错清单，上课前扫一遍最省事；第 8 节列出全篇的数值，便于当堂验算。

全章一条主线 The one-sentence story

四个环节，对应课件的四块：

1. 工具（帧 3–15）：极大似然估计。参数怎么估出来。

2. 诊断（帧 16–22）：线性模型哪里不够用。Cola–Temperature 的例子给出三个症状：预测值可以为负、方差随均值增长、尾部厚。

3. 框架（帧 23–32）：指数分布族。一个分布属于指数族，就自动有了均值 $b'(\theta)$、方差 $a(\phi)b''(\theta)$ 与方差函数 $V(\mu)$。

4. 落地（帧 33–41）：连接函数与四个具体模型，最后收成两行方程。

整章的算术核心只有一行： $$\operatorname{Var}[Y]=a(\phi)\,V(\mu).$$ $a(\phi)$ 是尺度，$V(\mu)$ 是均值–方差关系。学生只要记住"方差不是常数，而是均值的函数"，本章的目的就达到了。

符号表 Notation

42 帧速查 Frame map

帧号即课件 PDF 的页码（页脚 N / 42）。第 1 节覆盖帧 3–15，第 2 节覆盖 16–22，第 3 节覆盖 23–32，第 4 节把帧 33–34 的两个验证例题扩成八个特例，第 5 节覆盖 35–39，第 6 节覆盖 40–41。

极大似然估计 Maximum Likelihood Estimation（帧 3–15）

本章用极大似然估计（maximum likelihood estimation, MLE）把参数从数据里估出来。四个例题是后面全部内容的工具：二项与指数两题短，练的是"把似然写对"；正态题把两个参数联立的过程走一遍，并且第一次出现"极大似然估计可以有偏"；均匀分布题说明"求导置零"不是万能的，为第 5 章的数值优化埋下伏笔。

参数 Parameters（帧 3–4）

课件的定义是：参数是固定的（但未知的）数，它确定某一个具体的分布。这句话有两个作用：一是把参数与随机变量分开（频率派立场，参数没有分布）；二是把"估计"这件事说清楚——我们不是要找参数的概率分布，而是要在给定数据后指出哪个参数值最像样。

第 4 帧给出全章唯一的核心思想：选出让已经观测到的数据"最可能出现"的参数值。第 5 帧补上独立同分布（IID）假设，并说明它是"把 $n$ 个观测的联合密度写成 $n$ 个密度之积"的唯一依据。

似然与对数似然 Likelihood and log-likelihood（帧 6）

给定来自 $f(y;\boldsymbol{\theta})$ 的样本 $y_1,\dots,y_n$，似然函数（likelihood function）是

$$\begin{equation} L(\boldsymbol{\theta};\mathbf{y})=\prod_{i=1}^{n}f(y_i;\boldsymbol{\theta}), \qquad \ell(\boldsymbol{\theta};\mathbf{y})=\log L(\boldsymbol{\theta};\mathbf{y})=\sum_{i=1}^{n}\log f(y_i;\boldsymbol{\theta}). \label{eq:lik} \end{equation}$$

连乘来自独立性，连加来自对数的性质。这两个式子是本章后面每一个例题的起点，值得让学生当堂默写一遍。

例题一：二项分布（帧 7） Worked example 1: Binomial（只写不算）

设 $Y_i\sim\mathrm{Binomial}(3,\theta)$，观测到 $(y_1,y_2,y_3,y_4)=(1,3,2,2)$。这一帧只要求写出似然与对数似然，不求最大值；最大值留到第 11 帧。

关键动作是把组合系数留住：它会进入第 3 节指数族里的 $c(y;\phi)$，但在第 11 帧对 $\theta$ 求导时自动消失。这个"现在留着、以后丢掉"的动作，正是后面泊松与二项两个验证例题里那个"只含数据的项"的预演。

例题二：指数分布（帧 8） Worked example 2: Exponential（只写不算）

设 $Y_i\sim\mathrm{Exp}(\theta)$，$f_{Y_i}(y_i\mid\theta)=\theta e^{-\theta y_i}$，$y_i\ge0,\ \theta>0$；观测 $(1.23,\ 3.32,\ 1.98,\ 2.12)$。

最大化：为什么可以把似然换成对数似然 Maximisation: why the log is allowed（帧 9–10）

第 9 帧给出定义 $\hat{\boldsymbol{\theta}}=\mathop{\mathrm{arg\,max}}_{\boldsymbol{\theta}}L(\boldsymbol{\theta};\mathbf{y})$，并指出 $\log$ 是单调函数，所以 $\mathop{\mathrm{arg\,max}}$ 不变。这句话值得用两分钟证明一遍，因为"位置相同、数值不同"是学生最容易混淆的地方。

第 10 帧的两联图值得花三分钟：离散情形画的是"在不同候选参数下，已观测数据的概率质量"，要挑最高的柱子；连续情形画的是"不同参数对应的密度曲线"，要挑让观测点处密度乘积最大的那条曲线。两幅图讲的是同一件事——把参数当成横轴，把似然当成纵轴，找最高点。

二项分布的极大似然估计 Binomial MLE（帧 11）

指数分布的极大似然估计 Exponential MLE（帧 12）

注意 $\ell(0.5)=-7.0976$ 只比最大值低 $0.012$，肉眼在图上几乎看不出差别——这正好用来提醒学生：对数似然在最大值附近很平（曲率是 $-4/\theta^{2}$，在 $\hat\theta$ 处约 $-18.7$），所以估计量的标准误不会太小。

正态分布：两个参数联立 Normal MLE with two parameters（帧 13–14）

设 $Y_i\sim\mathrm{N}(\theta_1,\theta_2)$ 独立，$\theta_2>0$ 是方差。这是本章唯一需要两个参数联立的推导，也是唯一能让学生看到"极大似然估计可以有偏"的地方，值得慢慢做。

海森矩阵在 MLE 处的两个对角元是 $-6.9989$ 与 $-4.8984$，与上式的 $n/{\hat\theta_2}$、$n/(2\hat\theta_2^{2})$ 一致。

上例中 $\hat\theta_2=0.7144$、$s^{2}=0.8930$，比值 $0.7144/0.8930=0.8=(n-1)/n$，可以当堂验证"偏差因子"。

求导失效的例子：均匀分布 When calculus fails: the Uniform（帧 15）

设 $Y_1,\dots,Y_n$ 独立同分布于 $(0,\theta)$ 上的均匀分布，$y_{(n)}=\max_i y_i$。则 $$L(\theta)=\prod_{i=1}^{n}\frac{1}{\theta}\mathbf{1}\{0<y_i<\theta\} =\theta^{-n}\,\mathbf{1}\{\theta\ge y_{(n)}\}.$$

本节与第 5 章的接口 Bridge to Chapter 5

把本节的四个例题放在一起看，有一个共同结构：得分方程（score equation）$\partial\ell/\partial\theta=0$ 是估计量的定义，而它一般是非线性方程。二项、指数、正态三题能解出闭式解，是因为它们的得分方程恰好是线性或可分参的；一旦换成 logistic 回归或带连接的泊松回归，得分方程就变成 $$\sum_{i=1}^{n}\frac{(y_i-\mu_i)\,x_{ij}}{a(\phi)\,V(\mu_i)}=0, \qquad j=0,1,\dots,p,$$ 只能用 Newton–Raphson、Fisher scoring 或迭代重加权最小二乘（IRLS）迭代求解。第 5 章的主题就是这个方程组怎么解。

从线性模型到广义线性模型 From the Linear Model to the GLM（帧 16–22）

第 1 节备好了工具（极大似然），第 2 节说明为什么需要换一个框架。课件的处理方式很克制：不先抛定义，而是先给一个真实数据（Cola–Temperature），让线性回归当场出丑，再回头指出线性模型的三个组件里哪两个必须放宽。

线性模型的三个组件 The three components of a linear model（帧 17）

GLM 放宽了什么 What a GLM relaxes（帧 18）

注意课件在这里还没有给出指数族的定义（定义在第 24 帧）。这是有意的：先用"某个指数族分布"占位，等 Cola 的例子把动机讲透，再回头补定义。讲课顺序不要调换，否则学生会觉得指数族是从天上掉下来的。

Cola–Temperature：为什么一条直线不行 Cola–Temperature: why a straight line fails（帧 19–22）

数据：某高校校园内可口可乐的销量（Cola，响应）与气温（Temperature，自变量）。响应变量有三个特征：只取正值、厚尾（少数高温天销量特别大）、方差随均值增长。

三条症状对应三个数学问题：(ii) 是均值空间与实数直线不匹配，需要连接函数；(iii) 是方差不是常数，需要方差函数 $V(\mu)$；(i) 是分布选错（正态、对称、方差恒定），需要换随机成分。

课件第 22 帧只做到"变换后拟合改善"就停住，把"为什么变换有效、它的代价是什么"留给了第 3 节。讲课时用一句话过渡：变换是一个临时的补丁，GLM 给的是结构性的解——保持 $Y$ 的分布不变，只改均值与线性预测子的连接方式。

记号与维数 Notation and dimensions（帧 18、41 用）

第 $i$ 个观测的线性预测子（linear predictor）是 $$\eta_i=\beta_0+\beta_1x_{i1}+\cdots+\beta_px_{ip}=\mathbf{x}_i^{\top}\boldsymbol{\beta}, \qquad \mathbf{X}=\begin{pmatrix}\mathbf{x}_1^{\top}\\ \vdots\\ \mathbf{x}_n^{\top}\end{pmatrix}\in\mathbb{R}^{n\times(p+1)}, \quad \boldsymbol{\beta}\in\mathbb{R}^{p+1}.$$ $\mathbf{X}$ 称为设计矩阵（model matrix / design matrix），第一列通常全为 1（截距）。GLM 的两行方程是 $$\mathbf{y}=\boldsymbol{\mu}+\boldsymbol{\varepsilon}, \qquad g(\boldsymbol{\mu})=\mathbf{X}\boldsymbol{\beta},$$ 第一行说响应围绕均值波动（$\mathbb{E}[\boldsymbol{\varepsilon}]=\mathbf{0}$），第二行说均值经过 $g$ 之后是线性的。

指数分布族 The Exponential Family of Distributions（帧 23–32）

这一节是全章的重心，也是唯一一处"定义 + 定理 + 证明"三件套齐全的地方。讲法建议：先把定义里的五个符号逐个说清楚（第 24 帧），再用正态的两种写法说明参数化不唯一（第 25 帧），然后证明均值方差定理（第 26–29 帧），最后落到方差函数与两个性质（第 30–32 帧）。定理的证明要能脱稿讲，因为它是第 5 章 Fisher 信息的原型。

定义 Definition（帧 24）

$$\begin{equation} f(y;\theta,\phi)=\exp\left\{\frac{y\theta-b(\theta)}{a(\phi)}+c(y;\phi)\right\}, \qquad \theta\in\Theta\subseteq\mathbb{R},\ \ \phi>0 . \label{eq:edf} \end{equation}$$

为什么要写成这个形式？因为这个形式把"数据"与"参数"分开了：$y\theta$ 是数据乘参数，$b(\theta)$ 只含参数，$c(y;\phi)$ 只含数据。分开之后，才能对 $\theta$ 求导并把导数变成期望——这正是下一小节定理的证明思路。

参数化不唯一与自然指数族 Non-uniqueness and the natural exponential family（帧 25）

课件说"参数的选择不唯一"，这句话最好用一个具体例子讲，否则学生不知道"不唯一"到什么程度。用正态分布，两种都合法：

两个常用的特例： (i) 自然指数族（natural exponential family）：$a(\phi)=1$、$c(y;\phi)=c(y)$，于是 $$f(y;\theta)=\exp\{c(y)\}\exp\{y\theta-b(\theta)\}.$$ (ii) 一般的 $k$ 参数指数族： $$f(y;\boldsymbol{\theta})=\exp\Big\{\sum_{i=1}^{k}\theta_i t_i(y)-b(\boldsymbol{\theta})+c(y)\Big\},$$ 其中 $t_i(y)$ 是充分统计量。第 4.2 节的两参数正态就是 $k=2$ 的情形；课件 (1) 式的形式是"$k=1$ 再加一个离散度"的特例。

均值方差定理 The mean–variance theorem（帧 26）

这个定理的重要性在于：均值和方差来自同一个函数 $b$。一旦分布选定，$b$ 就定了，均值与方差如何随 $\theta$ 变化就同时定了——方差不是自由的参数，它是均值的函数（差一个尺度 $a(\phi)$）。

定理的证明 Proof of the theorem（帧 27–29）

方差函数 The variance function（帧 30–31）

把这五个方差函数与 $a(\phi)$ 放在一起看，就有本章最值钱的一句话： $$\operatorname{Var}[Y]=a(\phi)\,V(\mu) \quad\Longrightarrow\quad \begin{cases} a(\phi)\ \text{是尺度（scale）},\\ V(\mu)\ \text{是均值--方差关系（mean--variance relationship）}. \end{cases}$$

凹性与得分零点 Concavity and the zero score（帧 32）

第 (2) 条看起来平淡，其实是 IRLS 的种子：若只有一个观测且没有回归结构，极大似然估计就是"令拟合均值等于观测值"。有回归结构时，这句话变成"令加权残差与每个自变量正交"，即 $\sum_i x_{ij}(y_i-\mu_i)/\big(a(\phi)V(\mu_i)\big)=0$，$j=0,\dots,p$。

指数族特例的逐步分解 Decomposing Each Special Case（帧 33–35）

这一节是全篇的核心：把课件第 33、34 帧的两个验证例题（泊松、二项）扩成八个特例，每一个都用同一套六步法分解。讲课时的价值在于"可复制"：学生学会一套动作，就能自己处理伽马、逆高斯，乃至习题课上那些"看着陌生、其实是伽马"的密度。

课件的顺序是先泊松、后二项；本节的顺序按"由易到难、由连续到离散"重排为：正态（方差已知）$\to$ 两参数正态 $\to$ 伯努利 $\to$ 二项 $\to$ 泊松 $\to$ 指数 $\to$ 伽马 $\to$ 逆高斯。最后三个"不属于"的反例（均匀、韦布尔）收尾。

六步法 The six-step procedure

特例一：正态（$\sigma^{2}$ 已知） Normal with known variance

抽检：$\mu=3,\ \sigma^{2}=4$ 时 $b'(3)=3$，$a(\phi)b''=4\times1=4=\operatorname{Var}[Y]$。

特例二：正态（$\mu$ 与 $\sigma^{2}$ 都未知） Normal with both parameters unknown

这是唯一一个"离散度也未知"的连续例子，也是学生最容易被"$\theta$ 是标量"这一说法卡住的地方。正确做法：把它看成两参数指数族，自然参数是一个向量。

抽检：$\mu=2,\ \sigma^{2}=3$ 时 $\eta_1=2/3$、$\eta_2=-1/6$；$\partial b/\partial\eta_1=2=\mu$，$\partial b/\partial\eta_2=4+3=7=\mathbb{E}[Y^{2}]$，$\partial^{2}b/\partial\eta_1^{2}=3=\sigma^{2}$。

特例三：伯努利 Bernoulli

抽检：$\pi=0.3$ 时 $\theta=\mathop{\mathrm{logit}}(0.3)=-0.8473$，$b'(\theta)=0.3$，$b''(\theta)=0.21=\pi(1-\pi)$。

特例四：二项（计数版，帧 34） Binomial, count version（frame 34）

抽检：$n=10,\ \pi=0.3$ 时 $\mu=n\pi=3$，$V(\mu)=3(1-0.3)=2.1$，而 $\operatorname{Var}[Y]=n\pi(1-\pi)=2.1$，两边一致。

特例五：泊松（帧 33） Poisson（frame 33）

抽检：$\mu=2.5$ 时 $\theta=0.9163$，$b'=b''=2.5$，故 $\mathbb{E}[Y]=\operatorname{Var}[Y]=2.5$。

特例六：指数 Exponential

抽检：$\lambda=0.5$ 时 $\mu=2$，$\theta=-0.5$，$b'(\theta)=2$，$b''(\theta)=4=\mu^{2}$。

特例七：伽马 Gamma

伽马有两种常用参数化，两种都要会：形状–速率 $(\alpha,\lambda)$ 是教科书形式，均值–离散度 $(\mu,\beta)$ 是 Tutorial 6 与 GLM 软件用的形式。两者的 $(\theta,b,V)$ 完全相同，只有 $c(y;\phi)$ 与 $\phi$ 的写法不同。

写法 (a)：形状–速率 shape–rate

与伽马分布的已知结果核对：$\operatorname{Var}[Y]=\alpha/\lambda^{2}$，而 $\mu^{2}/\alpha=(\alpha/\lambda)^{2}/\alpha=\alpha/\lambda^{2}$，一致。

写法 (b)：均值–离散度（Tutorial 6） mean–dispersion

特例八：逆高斯 Inverse Gaussian

逆高斯（inverse Gaussian）是 $\mu^{3}$ 那一行。它的密度比前几个复杂，但六步法照旧——真正需要练的是"把 $-\lambda/(2y)$ 认出来，它属于 $c$ 而不是 $b$"。

抽检：$\mu=2,\ \lambda=5$ 时 $\theta=-0.125$，$b'(\theta)=2$，$b''(\theta)=8$，$\operatorname{Var}=8/5=1.6=\mu^{3}/\lambda$。

三个"不属于"的例子 Three cases that do not fit

均匀分布 $U(0,\theta)$：支撑依赖参数 Uniform: parameter-dependent support

韦布尔：形状已知与形状未知是两回事 Weibull: known vs unknown shape

若一定要给韦布尔一个方差函数，可以验证 $\operatorname{Var}[Y]=c(k)\,\mu^{2}$，其中 $$c(k)=\frac{\Gamma(1+2/k)}{\Gamma(1+1/k)^{2}}-1, \qquad c(1.7)=0.3666,\quad c(1)=1 .$$ $k=1$ 时退化为指数分布（$c=1$，$V(\mu)=\mu^{2}$），与特例六一致。但这个 $V$ 不是由 $a(\phi)b''(\theta)$ 得来的，只能说"碰巧形如 $\mu^{2}$"。

总表与记忆法 Master table and how to remember it

从 $V(\mu)$ 反查分布：$V=1$ 正态，$V=\mu$ 泊松，$V=\mu^{2}$ 伽马/指数，$V=\mu^{3}$ 逆高斯，$V=\mu(1-\mu)$ 伯努利。第 5 章的 IRLS 只需要 $V$ 与 $g$——给定这两样，算法与分布无关。这也是"方差函数"这一概念在整个模块里最实用的地方。

四个高频错误 Four errors that cost marks

连接函数 Link Functions（帧 35–39）

第 4 节把"随机成分"讲完了：选一个指数族分布，就自动有了 $V(\mu)$。这一节讲第二个自由度——均值怎样连到线性预测子。课件第 35–36 帧给定义与清单一，第 37–39 帧给四个具体模型。核心概念只有一个：典则连接。

定义与两条要求 Definition and two requirements（帧 35）

严格单调这一条不是形式要求，它保证"给定 $\eta$ 有唯一的 $\mu$"，否则模型无法定义。可微是为了后面用 Newton 法求 $\boldsymbol{\beta}$。

典则连接 The canonical link

这三条正是"为什么教材偏爱典则连接"的全部理由。第 5 章的 IRLS 在工作变量与权重上迭代，而典则连接让这一步退化成"加权最小二乘"，实现最简单。

常见连接一览 A catalogue of links（帧 36）

四个具体模型 Four concrete models（帧 37–39）

高斯响应 + 恒等连接 = 线性回归（帧 37） Gaussian + identity

这是唯一一个"三个组件都还是老样子"的 GLM，也是第 2、3 章的模型。它的 $V(\mu)=1$，所以 $\operatorname{Var}[Y]=\sigma^{2}$ 与 $\mu$ 无关——这正是"同方差"在 GLM 语言里的说法。

泊松响应 + 对数连接 = 泊松回归（帧 38） Poisson + log

二项响应 + logit 连接 = logistic 回归（帧 39） Binomial + logit

二项响应 + probit 连接 = probit 回归（帧 39） Binomial + probit

非典则连接：什么时候用、代价是什么 Non-canonical links: when and at what cost

课件只给了一个清单，没有说"为什么不用典则连接"。这个问题值得两分钟：

一句话总结这一节：分布决定方差函数，连接决定均值怎样进入模型。两者合起来才确定一个 GLM；典则连接是"数学上最省事"的搭配，但不是唯一正确的搭配。

模型设定总结 Summary of Model Specification（帧 40–41）

最后两帧把整章收成两行方程与三个组件。这一节把它们写成一份可以直接照抄的"设定模板"，再给三份完整的模型设定示例。

两行方程与三个组件 Two equations and three components（帧 41）

四个模型的系统成分完全相同——这就是第 2 节那句话的最终形态：线性预测子不变，换的只是随机成分与连接。

三份完整设定示例 Three complete specifications

建模前的检查清单 A checklist before fitting

与第 5、6 章的接口 Bridge to Chapters 5 and 6

本章停在"模型怎么设定"。接下来两章各接一条线： 第 5 章接"怎么估"：得分方程 $$\sum_{i=1}^{n}\frac{(y_i-\mu_i)\,x_{ij}}{a(\phi)V(\mu_i)}=0, \qquad j=0,1,\dots,p$$ 一般没有闭式解，需要 Newton–Raphson / Fisher scoring / IRLS；典则连接时它退化成加权最小二乘。 第 6 章接"怎么查"：偏差（deviance）、残差与诊断，它们的定义都建立在指数族的对数似然之上（$2\{\ell(\text{饱和模型})-\ell(\text{当前模型})\}$）。所以本章的 $b(\theta)$ 与 $c(y;\phi)$ 不是形式上的装饰，它们是后面所有统计量的原料。

讲课防错清单 Sixteen Pitfalls, and How to Pre-empt Them

这一节可以单独印一页，上课前扫一遍。每一条给出：错误（学生或讲者会写成的样子）、正确、预防（一句话，可直接在课堂上说）。

1. 二项 MLE 的分母。 错误：$\hat\theta=\sum y_i/4$；正确：$\hat\theta=\sum y_i/(4\times 3)=8/12$。预防："分母是试验总次数，不是观测个数。"

2. 指数分布的参数当均值。 错误：$\hat\theta=\bar y=2.1625$；正确：$\hat\theta=1/\bar y=0.4624$。预防："$\theta$ 是率，rate, not mean。"

3. "对数似然的最大值等于似然的最大值"。 错误：用 $\ell(\hat\theta)$ 代替 $L(\hat\theta)$ 比较大小。正确：两者只共享最大值的位置，不共享数值。预防："argmax 同，max 不同。"

4. 忘记二阶导（或海森）检验。 正确：二项题 $\ell''<0$；正态题 $\partial^{2}\ell/\partial\theta_1^{2}<0$ 且 $\det(\mathbf{H})>0$。预防："一阶导为零只给驻点；极大值要二阶条件。"

5. 正态方差的 MLE 除以 $n-1$。 错误：$\hat\sigma^{2}=s^{2}$；正确：$\hat\sigma^{2}=\frac{1}{n}\sum(y_i-\bar y)^{2}$，期望是 $\frac{n-1}{n}\sigma^{2}$。预防："MLE 不保证无偏；无偏是另一条判据。"

6. 认为 MLE 总有解析解。 预防："均匀分布的反例：最大在边界，导数处处不为零。"

7. 把"对响应取 $\log$"当成"用 $\log$ 连接"。 错误："两个模型一样，只是写法不同。"正确：前者改数据（对数正态，$\mathbb{E}[Y]=e^{\mathbf{x}^{\top}\boldsymbol{\beta}+\sigma^{2}/2}$），后者只改均值的连接（泊松，$\operatorname{Var}[Y]=\mu$）。预防："变换的是数据还是均值？"

8. 把含 $y$ 的项放进 $b(\theta)$。 错误：正态的 $-\frac{y^{2}}{2\sigma^{2}}$、逆高斯的 $-\frac{\lambda}{2y}$ 归入 $b$。预防："$b$ 里只有参数；含 $y$ 的一律进 $c(y;\phi)$。"

9. 伽马的离散度写成 $\alpha$。 错误：$\phi=\alpha$，导致 $\operatorname{Var}[Y]=\alpha\mu^{2}$；正确：$\phi=1/\alpha=\beta$，$\operatorname{Var}[Y]=\mu^{2}/\alpha$。预防："拿 $a(\phi)V(\mu)$ 一验，就知道差四倍。"

10. 二项：$b$ 带 $n$、$V$ 不带 $n$。 错误：$b=n\log(1+e^{\theta})$ 配 $V(\mu)=\mu(1-\mu)$；正确：$V(\mu)=\mu(1-\mu/n)$（计数版），或两处都按比例版（$a(\phi)=1/n$）。

11. 伯努利与二项混用。 预防："先问：响应是 $0/1$、是 $0$ 到 $n$ 的计数、还是比例？"

12. 认为 $c(y;\phi)$ 不能含 $\phi$。 正确：$c$ 只要求不含 $\theta$——正态的 $-\frac{1}{2}\log(2\pi\phi)$、伽马的 $-\log\Gamma(1/\phi)$ 都在 $c$ 里。

13. 忽略 $\theta$ 的定义域。 错误：$b(\theta)=-\log\theta$（伽马/指数）、$b(\theta)=\sqrt{-2\theta}$（逆高斯）。正确：$\theta<0$，故 $b(\theta)=-\log(-\theta)$、$b(\theta)=-\sqrt{-2\theta}$。

14. 把典则连接说成"唯一正确"或"最好的"连接。 正确：典则连接让得分方程最简、信息矩阵最漂亮；但可解释性、值域与数值稳定性常常要求非典则连接。

15. 对计数或比例数据用"正态 + 恒等连接"。 错误：预测值出现负数、标准误偏小。预防："响应有界或非负，恒等连接就不合法。"

16. 直接比较 logit 与 probit 的系数。 正确：两者差一个约 $1.6$ 的尺度；应比较平均边际效应或标准化系数。

数值核对表 Every Number in This Note, and How to Re-check It

下表列出本讲义出现的每个关键数字，都可以用 verify_edf.py（本目录下）重算。讲课时如果学生质疑某个结果，直接报这里的数字即可。

第 1 节：极大似然估计

第 4 节：八个特例的抽检

右两列相乘恒等于左两列的方差：例如伽马 $a(\phi)V(\mu)=0.5\times0.4444=0.2222=\operatorname{Var}[Y]$。这张表就是第 6 步核对的一次总演练。

典则参数与两参数正态

韦布尔的两个"失败"数字

前两行是"模板不适用"的证据：密度能还原，但 $b'$ 给出的是 $\mathbb{E}[Y^{k}]$ 而不是 $\mathbb{E}[Y]$。第三、四行说明：若只看方差，韦布尔看起来像 $V(\mu)=\mu^{2}$ 的家族，但这个对应关系不是由 $a(\phi)b''(\theta)$ 得来的。

怎么重算

在本目录下执行

脚本做三件事：(1) 用 $(theta,\phi,a,b,c)$ 重建密度，与已知密度逐点比较（误差在 $10^{-16}$ 量级）；(2) 数值核对 $b'=\mu$ 与 $ab''=\operatorname{Var}$；(3) 打印上表的全部数字。脚本对韦布尔那一项特意标成"预期失败"——它失败，正是这一节的结论。

附录：六步法一页纸 Appendix: the six-step procedure on one page

这一页可以单独复印，放在讲台上。八个特例用的是同一套动作；忘记某一步时，回到这张纸。

最后一列"符号"指 $\theta$ 的正负：$+$ 的家族 $\theta\in\mathbb{R}$（正态为全体实数，二项为 $\mathbb{R}$，泊松为 $\mathbb{R}$）；$-$ 的三个家族要求 $\theta<0$，这是它们 $b$ 里出现 $-\log(-\theta)$ 或 $-\sqrt{-2\theta}$ 的原因。

附录：从得分方程到 IRLS Appendix: score equation $\to$ IRLS

这一节不属于第 4 章的考试范围，但它是"为什么本章要花那么大力气讲 $V(\mu)$"的直接答案。讲完第 41 帧若还有三分钟，可以把它当预告。

下一章会把这个迭代展开成完整算法，并讨论收敛与初值。本章留下的唯一伏笔是：估 $\boldsymbol{\beta}$ 用的是 $V(\mu)$，估 $\phi$ 用的是偏差——两件事分开做，这也是 GLM 与正态线性模型在计算上最大的结构差别。