异常值
yì cháng zhí
异常值是与数据集中其余部分明显不同的数据值，远离其他数值。
Formula
\text{Outlier if value} < Q_1 - 1.5 \cdot \text{IQR} \quad \text{or} \quad \text{value} > Q_3 + 1.5 \cdot \text{IQR}
Definition
异常值是一个与其余数据非常不同的数据值，在数据集中远离其他数值，是一个与其他值的距离异常大的观测值。一种常见的检测方法是，如果某个值低于 $Q_1 - 1.5 \cdot \text{IQR}$ 或高于 $Q_3 + 1.5 \cdot \text{IQR}$，就将其标记为异常值；异常值可能预示着数据错误、异常事件或重要的发现。其他检测方法包括格拉布斯检验、z 分数阈值（$|z| > 3$），以及用于多个异常值的广义极端学生化偏差（ESD）检验；在回归中，有影响力的观测值通过库克距离和杠杆值（帽子矩阵对角线）来检测，二者分别衡量对拟合值和系数估计的影响。
Example
测验分数 $78$、$80$、$82$、$84$、$86$ 和 $3$ 中存在一个异常值 $3$，远低于其他所有值，这会显著拉低平均值。当 $\text{IQR} = Q_3 - Q_1 = 90 - 70 = 20$ 时，下围栏为 $70 - 30 = 40$，上围栏为 $90 + 30 = 120$，因此分数 $35$ 或 $130$ 会被标记为异常值。库克距离 $D_i = \frac{1}{p}\sum \frac{(\hat{y}_j - \hat{y}_{j(i)})^2}{\text{MSE}}$（对全部 $n$ 个观测值求和）常用阈值 $D_i > 4/n$ 或 $D_i > 1$ 来标记回归中的有影响力点。
Key Insight
异常值可能是错误（数据录入错误），也可能是真实、重要的值（打破纪录的运动员），因此在决定如何处理之前，务必先调查它们。均值会受异常值影响，而中位数不会，因此在存在异常值时中位数往往是更好的集中趋势度量，箱线图将异常值展示为须之外的单独点。稳健回归方法（M 估计量、最小截断二乘法）会自动降低异常值的权重或将其排除，从而得到不受极端观测值扭曲的估计，而无需手动剔除异常值。