偏差(统计学)

统计与概率

piān chā (tǒng jì xué)

统计学中的偏差是一种系统性误差,会使结果持续偏离真实的总体值。

Definition

偏差意味着一项调查或研究是不公平的,因为它系统性地偏向某些结果;有偏差的样本并不能真实代表整个总体。这是抽样或测量中的系统性误差,会使结果持续偏离真实值,常见来源包括抽样偏差(非随机选取)、回应偏差(不诚实作答)以及问题措辞偏差。形式上,估计量 $T$ 对参数 $\theta$ 的偏差定义为 $\text{Bias}(T) = E[T] - \theta$;无偏估计量的 $\text{Bias} = 0$,而均方误差可分解为 $\text{MSE} = \text{Variance} + \text{Bias}^2$,揭示了偏差-方差权衡:降低偏差可能增大方差,反之亦然。

Example

只询问数学社团的学生是否喜欢数学会得到有偏差的结果,因为数学社团成员可能比普通学生更喜欢数学。只在白天进行的电话调查会低估无法接听电话的上班族,导致样本偏向退休或失业的受访者。总体方差 $\sigma^2$ 的最大似然估计量使用 $n$ 作为分母,得到的是一个有偏估计量,它以 $(n-1)/n$ 的比例低估真值;将 $n$ 替换为 $n-1$ 便得到无偏的样本方差 $s^2$。

Key Insight

偏差就像一台总是多读 $2$ 磅的秤:无论你称多少次,答案总是朝同一个方向出错,而且偏差无法通过增大样本量来修正(一百万人的有偏样本仍然是有偏的)。随机化是主要的防范手段。在正则化回归(例如岭回归)中,人们故意引入偏差以降低方差、改善对新数据的预测,这正是偏差-方差权衡在实践中的体现。