四分位距
sì fēn wèi jù
四分位距(IQR)是第三四分位数与第一四分位数之差,用于衡量数据集中间 50% 部分的分布范围。
Formula
\text{IQR} = Q_3 - Q_1
Definition
四分位距(IQR)衡量数据集中间一半的分布范围:它是第 $25$ 百分位数与第 $75$ 百分位数之间的距离,$\text{IQR} = Q_3 - Q_1$。它是一种稳健的变异性度量,不受异常值影响,用于箱线图以及标准的异常值检测规则:低于 $Q_1 - 1.5 \cdot \text{IQR}$ 或高于 $Q_3 + 1.5 \cdot \text{IQR}$ 的值会被标记为异常值。形式上,$\text{IQR} = F^{-1}(0.75) - F^{-1}(0.25)$,其中 $F^{-1}$ 是分位数函数;对于正态分布,$\text{IQR} = 2(0.6745)\sigma$,约等于 $1.35\sigma$,这使得可以从 IQR 估计 $\sigma$:$\hat{\sigma} = \text{IQR}/1.35$,这是一种稳健尺度估计量的基础。
Example
按顺序排列的测验分数 $60$、$65$、$70$、$75$、$80$、$85$、$90$、$95$ 给出 $Q_1 = 67.5$,$Q_3 = 87.5$,因此 $\text{IQR} = 87.5 - 67.5 = 20$:中间 $50\%$ 的分数跨度为 $20$ 分。房价 $Q_1 = 18$ 万美元,$Q_3 = 34$ 万美元,得 $\text{IQR} = 16$ 万美元,异常值围栏下限 $= 18-24 = -6$ 万美元(不可能出现下限异常值),上限 $= 34+24 = 58$ 万美元,因此任何高于 $58$ 万美元的房屋都是异常值。标准化 IQR($NIQR = \text{IQR}/1.35$)是 $\sigma$ 的一种稳健估计量,对正态数据相对于 $s$ 的渐近效率为 $15\%$,但对重尾分布而言表现优于 $s$;MAD(中位数绝对偏差)是一种更为稳健的替代方案。
Key Insight
IQR 就像极差,但忽略了极端值,只衡量中间一半数据的分布范围,因此异常值不会影响它;它之于极差,正如中位数之于均值,二者都是抵抗极端值扭曲的稳健替代方案。Rousseeuw 和 Croux(1993 年)提出 $S_n = 1.1926 \cdot \text{median}_i(\text{median}_j(|x_i-x_j|))$ 作为一种对正态数据具有 $58\%$ 效率的高度稳健尺度估计量,在提升效率的同时延伸了 IQR 的稳健性质。