模拟(概率论)

统计与概率

mó nǐ (gài lǜ lùn)

模拟利用随机过程来建模并估计那些在解析上难以计算的事件的概率。

Definition

模拟是指使用一个随机过程(例如抛硬币、掷骰子或使用计算机)来对一个现实情境建模,从而估计那些在解析上难以计算的概率。随机数生成器、骰子、转盘或随机数表都可以作为模拟工具;通过运行多次试验,模拟得到的实验概率可以估计真实的理论概率。形式上,蒙特卡洛模拟是一种利用随机抽样来估计数学量(包括概率、积分和优化解)的计算方法:如果 $X$ 是一个具有 $E[f(X)] = \mu$ 的随机变量,那么根据大数定律 $(1/n)\sum f(X_i) \to \mu$,从而得到一个标准误为 $\sigma_f/\sqrt{n}$ 的估计量。

Example

为了估计在 $5$ 次抛掷中至少得到 $3$ 次正面的概率,你可以抛硬币 $5$ 次,记录结果,重复 $100$ 次,用有 $3$ 次或以上正面的试验比例来估计该概率。模拟生日问题($23$ 个人中至少有 $2$ 人生日相同),通过分配随机生日并在 $10{,}000$ 次重复中检查是否有匹配,得到的实验概率接近理论值 $0.507$。用蒙特卡洛方法估计 $\pi$:在 $[0,1]^2$ 中均匀生成 $n$ 个随机点 $(x,y)$,统计满足 $x^2+y^2 \le 1$ 的命中次数,用命中比例估计 $\pi/4$;对于 $n=10{,}000$,标准误约为 $0.01$,因此 $\pi$ 可以估计到约小数点后 $2$ 位。

Key Insight

当数学计算过于复杂时,模拟尤其有用:你总能通过多次运行实验得到一个近似答案,而运行的试验次数越多,结果就越接近真实概率(大数定律)。马尔可夫链蒙特卡洛(MCMC)方法(Metropolis-Hastings 算法、吉布斯抽样)将模拟扩展到直接抽样不可行的高维分布,构造一个平稳分布为目标分布的马尔可夫链,从而支持贝叶斯后验抽样和积分计算。