定理 5.1.4 (柯尔莫哥洛夫强大数定律)

定理 5.1.4 (柯尔莫哥洛夫强大数定律, Kolmogorov's Strong Law of Large Numbers)

设 $X_1,X_2,\dots$ 是一列随机变量满足

• 独立同分布 (i.i.d.)
• 具有有限的数学期望 $\mu$,

则有

$$P\left(\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n(X_k-\mu )=0\right)=1.$$

也即：

$$\frac{1}{n}\sum _{k=1}^n{X}_k\stackrel{\text{a.s.}}{\to }\mu .$$

证明

我们应用 Kolmogorov 强大数法则（独立同分布版本）：

已知：

• $\{X_n\}$ 为独立同分布（i.i.d.）随机变量序列；
• $\mathbb{E}[X_n]=\mu$ 存在（有限）；
• 设 $S_n:={\sum }_{k=1}^n{X}_k$，则强大数法则断言：

如果 $\mathbb{E}[|X_1|]<\infty$，则 $\frac{S_n}{n}\to \mu \text{几乎处处}.$

这个结论是强大数法则的基本形式之一，以下给出简要证明思路：

步骤一：中心化变量

设 $Y_k:=X_k-\mu$，则 $\mathbb{E}[Y_k]=0$，$\{Y_k\}$ 仍为独立同分布序列。

目标等价于证明：

$$\frac{1}{n}\sum _{k=1}^n{Y}_k\to 0\text{几乎处处}.$$

步骤二：若 $X_k$ 有有限方差，则使用 Kolmogorov 强大数法则：

若进一步假设 $\mathrm{Var}(X_k)<\infty$，则

$$\sum _{k=1}^{\infty }\frac{\mathrm{Var}[Y_k]}{k^2}=\mathrm{Var}[Y_1]\cdot \sum _{k=1}^{\infty }\frac{1}{k^2}<\infty .$$

因此，由前面已证的引理（即 $\sum \frac{\mathrm{Var}(X_k)}{k^2}<\infty$ 可推出 Cesàro 均值收敛），得：

$$\frac{1}{n}\sum _{k=1}^n{Y}_k\to 0\text{几乎处处}.$$

步骤三：若只有有限一阶矩，使用 Etemadi 强大数法则（推广版本）

事实上，即使 $\mathrm{Var}(X_1)=\infty$，只要 $\mathbb{E}[|X_1|]<\infty$，也可以通过 Etemadi 强大数法则 推出：

$$\frac{1}{n}\sum _{k=1}^n{X}_k\to \mu \text{几乎处处}.$$

该定理说明，在 i.i.d. 情况下，有限的期望已经足够推出强大数法则成立。

综上，无论是使用 Kolmogorov 强大数法则（有有限方差）还是 Etemadi 的结果（只需有限期望），都可以得出结论：

$$P\left(\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n(X_k-\mu )=0\right)=1.$$

证毕。