乘法法则(概率论)
chéng fǎ fǎ zé (gài lǜ lùn)
乘法法则给出两个事件同时发生的概率,对于相依事件则借助条件概率来计算。
Formula
P(A \text{ and } B) = P(A) \times P(B|A)
Definition
乘法法则告诉你两个事件同时发生的概率:对于独立事件,只需将各自的概率相乘。形式上,$P(A \text{ and } B) = P(A)P(B|A)$;对于独立事件,$P(B|A) = P(B)$,所以 $P(A \text{ and } B) = P(A)P(B)$,而对于相依事件,你必须使用在 $A$ 已发生的条件下 $B$ 的条件概率。概率的链式法则将其推广为:$P(A_1 \cap A_2 \cap \ldots \cap A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1 \cap A_2) \cdots P(A_n|A_1 \cap \ldots \cap A_{n-1})$,当所有事件都独立时,这简化为各个概率的乘积。
Example
抛出正面且掷出 $3$(独立事件)的概率是 $P = 1/2 \times 1/6 = 1/12$。不放回地抽两张 A:$P(\text{first ace}) = 4/52$,已知第一张是 A,$P(\text{second ace}) = 3/51$,所以 $P(\text{both aces}) = 4/52 \times 3/51 = 1/221$。在贝叶斯网络中,链式法则将所有变量的联合分布分解为一系列条件分布的乘积,每个变量以其在有向无环图中的父节点为条件,从而以指数级的方式减少了描述完整联合分布所需的参数数量。
Key Insight
概率中的"且"通常意味着相乘,而"或"通常意味着相加(有重叠时需要减去重叠部分);乘法法则可以自然地推广,$P(A \text{ and } B \text{ and } C) = P(A)P(B|A)P(C|A \text{ and } B)$,对独立事件简化为 $P(A)P(B)P(C)$。链式法则是贝叶斯网络因子分解的基础:一般情况下,联合分布 $P(X_1, \ldots, X_n)$ 需要 $O(2^n)$ 个参数,但具有稀疏父节点结构的贝叶斯网络只需要 $O(n \cdot 2^k)$ 个参数,其中 $k$ 是每个节点的最大父节点数。