方差
fāng chā
方差衡量数据值与均值之间距离平方的平均值,用以表示数据的分散程度。
Formula
s^2 = \dfrac{\sum (x_i - \bar{x})^2}{n-1}
Definition
方差是一个衡量数据集中数值相对于平均值变化程度的数值:方差越大,数值就越分散。样本方差 $s^2 = \sum (x_i-\bar{x})^2/(n-1)$ 是相对于样本均值的平均平方离差,恒为非负,且只有当所有值都相同时才等于零;取其平方根即得到以原始单位表示的标准差。形式上,总体方差 $\sigma^2 = E[(X-\mu)^2] = E[X^2] - \mu^2$ 是分布的一个基本性质,样本方差是无偏的:$E[s^2] = \sigma^2$。在方差分析(ANOVA)中,总方差被分解为组间和组内两个成分,从而支持 F 检验。
Example
分数 $80$、$80$、$80$、$80$ 的方差为 $0$(没有分散),而分数 $60$、$70$、$90$、$100$ 的方差较大,因为它们远离均值 $80$。对于数据 $2$、$4$、$4$、$4$、$5$、$5$、$7$、$9$,均值为 $5$:平方离差 $9$、$1$、$1$、$1$、$0$、$0$、$4$、$16$ 之和为 $32$,得方差 $s^2 = 32/7 = 4.57$,标准差 $s = \sqrt{4.57} = 2.14$。全方差公式 $\text{Var}(Y) = E[\text{Var}(Y|X)] + \text{Var}(E[Y|X])$ 将方差分解为组内平均成分和组间成分,是随机效应模型和方差分析框架的基础。
Key Insight
方差和标准差都衡量分散程度,但标准差以原始单位表示(例如英寸或分数),更易于解释,而方差是以平方单位表示的;对离差取平方消除了负号,并且对较大的离差施加比较小离差更重的惩罚。克拉美-罗下界指出,$\theta$ 的任何无偏估计量的方差都不可能小于 $1/I(\theta)$,其中 $I(\theta)$ 是费舍尔信息量,对于正态数据,$s^2$ 恰好达到这一下界,使其成为 $\sigma^2$ 的最小方差无偏估计量(MVUE)。