统计学习研究如何从有限样本中提取可推广的规律。它既关心预测是否准确，也关心模型为什么有效、估计量是否稳定，以及观察到的相关关系能否解释为因果关系。

整门课程可以用三条主线串起来：

  1. 预测主线：如何控制训练误差与测试误差之间的差距。
  2. 结构主线：如何通过正则化、核方法和集成学习表达复杂规律。
  3. 因果主线：在什么假设下，观察数据能够识别干预效果。

1. 经验风险与泛化

设训练数据为

\[ D_n=\{(x_i,y_i)\}_{i=1}^n, \]

其中 \(x_i\in\mathbb R^p\) 是特征，\(y_i\) 是响应变量。给定损失函数 \(L(y,f(x))\)，总体风险定义为

\[ R(f)=\mathbb E\bigl[L(Y,f(X))\bigr]. \]

总体分布未知，因此无法直接计算 \(R(f)\)。实际训练使用经验风险

\[ \widehat R_n(f)=\frac1n\sum_{i=1}^n L\bigl(y_i,f(x_i)\bigr). \]

只最小化经验风险容易得到过于复杂的模型。统计学习的核心并不是把训练集记住，而是在未见样本上仍保持较小误差，即获得良好的泛化能力。

常见解决方法包括：

  • 限制模型复杂度；
  • 在损失函数中加入惩罚项；
  • 使用交叉验证选择超参数；
  • 通过集成学习降低方差；
  • 增加有效样本量或改善数据质量。

1.1 偏差—方差分解

考虑回归模型

\[ Y=f(X)+\varepsilon,\qquad \mathbb E(\varepsilon)=0,\qquad \operatorname{Var}(\varepsilon)=\sigma^2. \]

在测试点 \(x_0\) 处，平方预测误差可分解为

\[ \mathbb E\!\left[(Y_0-\widehat f(x_0))^2\right] =\sigma^2+ \left(\mathbb E[\widehat f(x_0)]-f(x_0)\right)^2+ \operatorname{Var}\!\left(\widehat f(x_0)\right). \]

三项分别是：

  • 不可约误差 \(\sigma^2\)：来自数据本身的随机噪声；
  • 偏差平方：模型平均预测与真实规律之间的系统差异；
  • 方差：训练样本变化时模型预测的波动程度。

模型越复杂，通常偏差越小、方差越大；模型越简单则相反。调参的目标是在二者之间找到测试误差最小的位置。

1.2 交叉验证

\(K\) 折交叉验证把样本分为 \(K\) 份。每次用 \(K-1\) 份训练、剩余一份验证，最后对验证误差取平均：

\[ \operatorname{CV}(K) =\frac1K\sum_{k=1}^K \operatorname{Err}_k. \]

交叉验证应只用于训练阶段的模型选择。最终测试集不能反复参与调参，否则测试误差也会被间接优化，失去客观性。

2. 线性回归与模型选择

线性回归假设条件均值可以写为

\[ \mathbb E(Y\mid X=x)=\beta_0+x^\top\beta. \]

采用矩阵记号，

\[ y=X\beta+\varepsilon. \]

最小二乘估计为

\[ \widehat\beta_{\mathrm{OLS}} =\arg\min_\beta\|y-X\beta\|_2^2. \]

当 \(X^\top X\) 可逆时，

\[ \widehat\beta_{\mathrm{OLS}} =(X^\top X)^{-1}X^\top y. \]

拟合值可以写成

\[ \widehat y=Hy,\qquad H=X(X^\top X)^{-1}X^\top. \]

\(H\) 称为帽子矩阵。它把观测向量投影到 \(X\) 的列空间，因此最小二乘既是一个优化问题，也是一个正交投影问题。

2.1 变量选择

当变量较多时，可以使用：

  • 最优子集选择：枚举给定大小的变量子集，准确但计算昂贵；
  • 前向选择：从空模型开始逐步加入变量；
  • 后向剔除：从完整模型开始逐步删除变量；
  • 正则化方法：连续地收缩系数，避免离散搜索。

常见信息准则具有统一形式：

\[ \text{拟合误差}+\text{复杂度惩罚}. \]

AIC 更强调预测表现，BIC 对模型复杂度惩罚更强，在满足条件时更倾向于选择较小模型。

3. Ridge、Lasso 与 Elastic Net

高维、强相关或接近共线的数据会使最小二乘估计不稳定。正则化通过允许少量偏差来降低方差。

3.1 岭回归

岭回归求解

\[ \widehat\beta_{\mathrm{ridge}} =\arg\min_\beta \left\{ \|y-X\beta\|_2^2+\lambda\|\beta\|_2^2 \right\}. \]

其闭式解为

\[ \widehat\beta_{\mathrm{ridge}} =(X^\top X+\lambda I)^{-1}X^\top y. \]

随着 \(\lambda\) 增大：

  • 系数向零收缩；
  • 模型偏差增大；
  • 模型方差减小；
  • 系数通常不会精确变成零。

因此 Ridge 擅长稳定预测，但不会自动完成变量选择。

3.2 Lasso

Lasso 使用 \(L_1\) 惩罚：

\[ \widehat\beta_{\mathrm{lasso}} =\arg\min_\beta \left\{ \frac1{2n}\|y-X\beta\|_2^2+ \lambda\|\beta\|_1 \right\}. \]

\(L_1\) 约束区域存在尖角，最优点容易落在坐标轴上，因此部分系数会精确等于零。

在正交设计下，Lasso 具有软阈值形式：

\[ \widehat\beta_j =\operatorname{sign}(z_j) \bigl(|z_j|-\lambda\bigr)_+. \]

这条公式清楚说明了 Lasso 的两种作用：小系数被直接压到零，大系数则向零收缩。

3.3 Elastic Net

Elastic Net 同时使用 \(L_1\) 和 \(L_2\) 惩罚：

\[ \widehat\beta =\arg\min_\beta \left\{ \|y-X\beta\|_2^2+ \lambda_1\|\beta\|_1+ \lambda_2\|\beta\|_2^2 \right\}. \]

当一组变量高度相关时，Lasso 可能只保留其中一个；Elastic Net 往往更倾向于成组保留相关变量，同时维持稀疏性。

4. 分类问题

二分类中设 \(Y\in{0,1}\)，目标是估计条件概率

\[ \eta(x)=P(Y=1\mid X=x), \]

再根据阈值输出类别。

4.1 逻辑回归

逻辑回归假设对数优势是线性的：

\[ \log\frac{\eta(x)}{1-\eta(x)} =\beta_0+x^\top\beta. \]

于是

\[ \eta(x) =\frac{\exp(\beta_0+x^\top\beta)} {1+\exp(\beta_0+x^\top\beta)}. \]

若其他变量保持不变，\(x_j\) 增加一个单位，odds 乘以 \(\exp(\beta_j)\)。因此 \(\beta_j\) 不能直接解释为“概率增加了多少”。

4.2 LDA 与 QDA

LDA 假设各类别服从高斯分布且共享协方差矩阵：

\[ X\mid Y=k\sim N(\mu_k,\Sigma). \]

判别函数为

\[ \delta_k(x) =x^\top\Sigma^{-1}\mu_k -\frac12\mu_k^\top\Sigma^{-1}\mu_k +\log\pi_k. \]

共享协方差使决策边界为线性。QDA 允许每一类拥有不同协方差矩阵 \(\Sigma_k\)，因此边界是二次的。LDA 参数少、方差较小；QDA 更灵活，但需要更多数据。

4.3 分类指标

混淆矩阵中的四个基本量是 TP、TN、FP、FN：

\[ \operatorname{Accuracy} =\frac{TP+TN}{TP+TN+FP+FN}, \]
\[ \operatorname{Sensitivity} =\frac{TP}{TP+FN}, \qquad \operatorname{Specificity} =\frac{TN}{TN+FP}, \]
\[ \operatorname{Precision} =\frac{TP}{TP+FP}. \]

类别严重不平衡时，accuracy 可能很高却没有实际意义。此时应结合 sensitivity、specificity、precision、F1 和 ROC-AUC。

5. KNN 与局部平滑

5.1 K 近邻

KNN 回归在 \(x_0\) 的估计为

\[ \widehat f(x_0) =\frac1k\sum_{i\in N_k(x_0)}y_i. \]
  • \(k\) 小：邻域小，模型灵活，偏差低、方差高；
  • \(k\) 大：邻域大，模型平滑，偏差高、方差低。

在高维空间中，样本之间的距离会趋于相似，局部邻域不再真正“局部”，这就是维数灾难。KNN、核回归和核密度估计都会受到影响。

5.2 核密度估计

一维核密度估计为

\[ \widehat p_h(x) =\frac1{nh}\sum_{i=1}^n K\!\left(\frac{x-X_i}{h}\right). \]

带宽 \(h\) 控制平滑程度：

  • \(h\) 太小：曲线波动大，方差高；
  • \(h\) 太大：细节被抹平，偏差高。

核函数形状通常不如带宽选择重要。

5.3 核回归

Nadaraya–Watson 估计为

\[ \widehat m_h(x) =\frac{\sum_{i=1}^n K_h(x-X_i)Y_i} {\sum_{i=1}^n K_h(x-X_i)}. \]

它是距离加权平均。边界附近一侧缺少样本，容易产生边界偏差；局部线性回归能够显著缓解这一问题。

6. SVM 与核方法

6.1 最大间隔分类

对标签 \(y_i\in{-1,1}\)，线性可分 SVM 求解

\[ \min_{\beta,\beta_0} \frac12\|\beta\|_2^2 \]

满足

\[ y_i(x_i^\top\beta+\beta_0)\ge 1. \]

只有位于间隔边界附近的样本会决定最终超平面，这些点称为支持向量。

线性不可分时引入松弛变量：

\[ \min_{\beta,\beta_0,\xi} \frac12\|\beta\|_2^2 +C\sum_{i=1}^n\xi_i, \]

其中

\[ y_i(x_i^\top\beta+\beta_0)\ge 1-\xi_i, \qquad \xi_i\ge0. \]

\(C\) 越大，对误分类惩罚越重，边界更贴合训练数据；\(C\) 越小，正则化更强。

6.2 核技巧

核函数满足

\[ K(x,z)=\langle\phi(x),\phi(z)\rangle. \]

算法只需要样本间内积时，可以直接计算 \(K(x,z)\)，无须显式构造高维映射 \(\phi(x)\)。常见核包括线性核、多项式核和高斯核。

核岭回归的解具有形式

\[ \widehat f(x) =\sum_{i=1}^n\alpha_iK(x_i,x), \]

其中

\[ \widehat\alpha =(K+n\lambda I)^{-1}y. \]

这体现了表示定理：无限维函数空间中的最优解仍位于由训练样本核函数张成的有限维空间。

7. 决策树与集成学习

7.1 决策树

回归树选择切分点，使节点内平方误差最小；分类树常使用 Gini 指数或交叉熵。

Gini 指数为

\[ G=1-\sum_{k=1}^K p_k^2. \]

树很容易解释，也能自动表达非线性和变量交互，但单棵深树通常方差较大。

7.2 Bagging 与随机森林

Bagging 对训练集进行多次 Bootstrap 抽样，分别训练模型，再对结果平均或投票。它主要降低方差。

一次大小为 \(n\) 的有放回抽样中，某个样本从未被抽到的概率约为

\[ \left(1-\frac1n\right)^n\longrightarrow e^{-1}\approx0.368. \]

这些未被抽中的样本称为袋外样本，可用于计算 OOB 误差。

随机森林在 Bagging 基础上，每次节点切分只考察随机抽取的一部分变量。这样可以降低不同树之间的相关性，使平均后的方差进一步下降。

7.3 Boosting

Boosting 按顺序训练弱学习器，后一个模型重点修正前面模型的错误。与 Bagging 的并行平均不同，Boosting 是逐步加法建模，更容易降低偏差，但也更依赖学习率、树深和迭代次数。

8. 因果推断

预测问题问“给定 \(X\)，\(Y\) 会是多少”；因果问题问“如果主动改变处理 \(A\)，\(Y\) 会怎样变化”。二者不是同一个问题。

8.1 潜在结果与 ATE

设 \(Y^1\) 和 \(Y^0\) 分别表示接受处理与不接受处理时的潜在结果。平均处理效应为

\[ \operatorname{ATE} =\mathbb E(Y^1-Y^0). \]

同一个体无法同时观察 \(Y^1\) 与 \(Y^0\)，这就是因果推断的根本困难。

观察性研究中常依赖三个识别条件：

  1. 一致性：若实际接受 \(A=a\)，则观察结果 \(Y=Y^a\)；
  2. 无未测量混杂：\(Y^a\perp A\mid L\)；
  3. 正性：对可能出现的 \(L\)，有 \(0<P(A=a\mid L)<1\)。

这些条件不是从数据中自动检验出来的，而是研究设计与领域知识的一部分。

8.2 G-公式

在上述条件下，

\[ \mathbb E(Y^a) =\mathbb E_L\!\left[ \mathbb E(Y\mid A=a,L) \right]. \]

G-计算先拟合结果模型

\[ m(a,L)=\mathbb E(Y\mid A=a,L), \]

再把每个样本的处理值设为 \(a\)，预测并取平均。

8.3 IPTW

令倾向得分

\[ e(L)=P(A=1\mid L). \]

则

\[ \mathbb E(Y^1) =\mathbb E\!\left[ \frac{AY}{e(L)} \right], \]
\[ \mathbb E(Y^0) =\mathbb E\!\left[ \frac{(1-A)Y}{1-e(L)} \right]. \]

IPTW 通过加权构造一个处理与协变量近似独立的伪总体。倾向得分接近 0 或 1 时，权重会非常大，估计可能不稳定，因此需要检查重叠性和极端权重。

8.4 双重稳健估计

对 \(\mathbb E(Y^1)\)，增广逆概率加权估计量可写为

\[ \widehat\mu_1 =\frac1n\sum_{i=1}^n \left[ \widehat m(1,L_i) +\frac{A_i}{\widehat e(L_i)} \left\{Y_i-\widehat m(1,L_i)\right\} \right]. \]

只要倾向得分模型或结果回归模型中至少一个正确，该估计量仍可保持一致，因此称为双重稳健。它不是“两个模型随便写一个就行”：若两个模型都严重错误，双重稳健性不会提供保护。

8.5 DAG 与调整

三种基本结构需要区分：

  • 混杂：\(A\leftarrow L\rightarrow Y\)，通常需要调整 \(L\)；
  • 中介：\(A\rightarrow M\rightarrow Y\)，估计总效应时通常不调整 \(M\)；
  • 碰撞：\(A\rightarrow C\leftarrow Y\)，调整 \(C\) 反而会打开非因果路径。

后门准则的目标是阻断所有从 \(A\) 进入的后门路径，同时避免调整处理的后代和碰撞节点。

9. 工具变量

当存在无法测量的混杂变量时，工具变量 \(Z\) 可以在额外假设下识别局部因果效应。

核心条件包括：

  1. 相关性：\(Z\) 会影响处理 \(A\)；
  2. 独立性：\(Z\) 与影响结局的未测混杂因素独立；
  3. 排他性：\(Z\) 只能通过 \(A\) 影响 \(Y\)；
  4. 单调性：不存在因为工具变量鼓励反而拒绝处理的反抗者。

二元工具变量下，个体可以分为总是接受者、永不接受者、顺从者和反抗者。

在相应假设下，Wald 比值识别顺从者平均因果效应：

\[ \operatorname{CACE} =\frac{\mathbb E(Y\mid Z=1)-\mathbb E(Y\mid Z=0)} {\mathbb E(A\mid Z=1)-\mathbb E(A\mid Z=0)}. \]

CACE 是顺从者群体中的局部效应，并不自动等于总体 ATE。

10. Cox 比例风险模型

生存分析同时处理事件时间和删失。Cox 模型假设

\[ h(t\mid X) =h_0(t)\exp(X^\top\beta), \]

其中 \(h_0(t)\) 是未知基准风险函数。

对协变量 \(x_j\)，风险比为

\[ \operatorname{HR}=\exp(\beta_j). \]

若 \(\exp(\beta_j)=2\)，表示其他变量不变时，瞬时风险是原来的两倍，并不表示生存时间缩短一半。

Cox 模型利用偏似然估计 \(\beta\)：

\[ L(\beta) =\prod_{i:\delta_i=1} \frac{\exp(X_i^\top\beta)} {\sum_{j\in R(t_i)}\exp(X_j^\top\beta)}, \]

其中 \(R(t_i)\) 是事件时刻 \(t_i\) 之前仍处于风险集中的个体。

11. 常见易错点

  1. 训练误差低不代表测试误差低。
  2. 不可约误差不能通过换模型消除。
  3. Ridge 通常不会产生精确零系数；Lasso 可以。
  4. 逻辑回归系数解释的是 log odds，不是概率变化量。
  5. accuracy 不适合单独评价严重不平衡的数据。
  6. KNN 中 \(k\) 越小，模型越复杂。
  7. 核技巧避免显式计算高维映射，但没有消除调参问题。
  8. 随机森林不仅能回归，也能分类。
  9. Bootstrap 中约 \(36.8%\) 的样本是袋外样本。
  10. 相关性不等于因果性；预测准确也不等于因果模型正确。
  11. 碰撞变量通常不能随意调整。
  12. 双重稳健不意味着两个模型都错时仍然稳健。
  13. 工具变量排他性通常依赖领域知识，无法仅靠数据验证。
  14. CACE 是局部效应，不应直接解释为全体人群的平均效应。

12. 复习顺序

建议按以下顺序复习：

  1. 先掌握风险、偏差—方差和交叉验证；
  2. 再比较 OLS、Ridge、Lasso；
  3. 掌握逻辑回归、LDA/QDA 和分类指标；
  4. 理解 KNN、核方法、SVM 与树模型的复杂度控制方式；
  5. 最后集中复习潜在结果、G-公式、IPTW、双重稳健、DAG 和工具变量。

真正需要记住的不是孤立公式，而是每个方法在解决什么问题、依赖什么假设，以及假设破坏后会发生什么。