大数定律
dà shù dìng lǜ
大数定律指出，随着试验次数的增加，实验概率会越来越接近理论概率。
Definition
大数定律指出，你重复一项实验的次数越多，你的结果就会越接近你预期的结果；小规模实验难以预测，大规模实验则较为可靠。随着试验次数 $n$ 增加，对于均值有限的独立同分布随机变量，样本均值 $\bar{x}$ 会收敛到总体均值 $\mu$，这解释了为什么实验概率会随着试验次数增多而趋近理论概率。形式上，弱大数定律指出 $\bar{x}$ 依概率收敛到 $\mu$：对任意 $\epsilon > 0$，当 $n \to \infty$ 时 $P(|\bar{x}-\mu| > \epsilon) \to 0$；强大数定律指出 $\bar{x}$ 几乎必然收敛到 $\mu$，$P(\lim \bar{x} = \mu) = 1$，这是一个更强的结论，在更弱的条件 $E[|X|] < \infty$ 下也成立。
Example
抛硬币 $10$ 次，你可能得到 $7$ 次正面（$70\%$）；抛 $10{,}000$ 次，你几乎肯定会得到非常接近 $50\%$ 的正面。反复掷骰子，$10$ 次后样本均值可能是 $4.2$，$100$ 次后是 $3.7$，$10{,}000$ 次后几乎肯定会非常接近 $3.5$（理论均值）。遍历定理将其推广：对于一个平稳遍历过程，时间平均几乎必然收敛到总体平均，这将大数定律与统计力学和时间序列分析联系起来，在这些领域中，一条足够长的时间序列可以替代许多次独立的实现。
Key Insight
这就是为什么赌场总能长期获利：每个单独的赌徒都是不可预测的，但在成千上万名赌徒的情况下，赌场的实际结果会收敛到期望的（有利可图的）结果。大数定律与短期表现无关；如果你连续抛出 $10$ 次正面，下一次抛掷仍然是 $50/50$（赌徒谬误正是对这一点的误解），因为大数定律是在无穷多次试验上求平均，而不是纠正短期的连续结果，精确的收敛速度由中心极限定理给出（标准误 $= \sigma/\sqrt{n}$）。