回归
huí guī
回归是一种对变量之间关系进行建模的统计方法，通常用来根据一个变量预测另一个变量的值。
Definition
回归是一种在散点图数据点中找出最佳拟合直线（或曲线）的方法，可用于根据一个值预测另一个值。线性回归通过最小化残差平方和（每个点到直线的垂直距离）来找到最佳拟合数据的方程，得到最小二乘回归线 $\hat{y} = b_0 + b_1 x$，其中 $b_1 = r(s_y/s_x)$，$b_0 = \bar{y} - b_1\bar{x}$。形式上，普通最小二乘（OLS）回归通过最小化 $\|Y - X\beta\|^2$ 来估计 $Y = X\beta + \epsilon$ 中的 $\beta$，得到 $\hat{\beta} = (X^TX)^{-1}X^TY$；根据高斯-马尔可夫定理，当误差独立同分布、均值为零且方差恒定时，OLS 是最佳线性无偏估计量（BLUE），$R^2$ 统计量衡量拟合优度。
Example
如果每多学习一小时往往能多得 $5$ 分，回归就能找出这一确切关系，从而根据任意学习时长预测分数。对于日平均气温（$x$）和冰淇淋销量（$y$），回归线 $\hat{y} = -50 + 3.2x$ 预测在 $85$ 度的一天，销量为 $-50 + 3.2(85) = 222$ 美元，残差为实际值减去预测值。在简单线性回归中，$R^2 = r^2$（相关系数的平方）；在多元回归中，$R^2 = 1 - RSS/TSS$，调整后的 $R^2$ 会对额外的预测变量进行惩罚：$R^2_{adj} = 1 - \frac{RSS/(n-p-1)}{TSS/(n-1)}$。
Key Insight
回归把你在散点图中看到的模式转化为一个可用于预测的数学方程：斜率 $b_1$ 告诉你，$x$ 每增加 $1$ 个单位，预测 $y$ 会增加 $b_1$ 个单位，而截距 $b_0$ 是当 $x = 0$ 时预测的 $y$ 值（在具体情境中这可能没有实际意义）。高斯-马尔可夫定理保证在温和的假设下 OLS 是 BLUE，但并不要求正态性；为误差添加正态性假设可以支持精确的 t 检验和 F 检验推断，而违反假设（异方差性、自相关）则需要使用稳健或广义最小二乘法。