定理 5.1.3 (柯尔莫哥洛夫强大数定律 Kolmogorov's Strong Law of Large Numbers)

定理 5.1.3 (柯尔莫哥洛夫强大数定律)

设 $X_1,X_2,\dots$ 是一列随机变量满足

• 相互独立
• 具有有限数学期望
• ${\sum }_{n=1}^{\infty }\frac{\mathrm{Var}[X_n]}{n^2}<\infty ,$

则样本均值 几乎必然 收敛到期望值，即：

$$P\left(\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n\left(X_k-\mathbb{E}[X_k]\right)=0\right)=1.$$

证明

我们将使用 引理 5.1.2 (柯尔莫哥洛夫不等式) 和 克罗内克引理 (Kronecker’s Lemma) 来证明此定理。

证明思路

1. 通过中心化，简化问题，假设 $\mathbb{E}[X_k]=0$。
2. 利用克罗内克引理，将证明目标转化为证明级数 ${\sum }_{k=1}^{\infty }\frac{X_k}{k}$ 几乎必然收敛。
3. 使用柯尔莫哥洛夫不等式来证明级数 ${\sum }_{k=1}^{\infty }\frac{X_k}{k}$ 几乎必然收敛。
4. 结合步骤 2 和 3 得出最终结论。

步骤 1：简化问题 (中心化)

不失一般性 (Without loss of generality, WLOG)，我们可以假设 $\mathbb{E}[X_k]=0$ 对所有 $k$ 成立。

• 若不然，令 $Y_k=X_k-\mathbb{E}[X_k]$。
• 则 $Y_k$ 序列是相互独立的，且 $\mathbb{E}[Y_k]=\mathbb{E}[X_k-\mathbb{E}[X_k]]=0$。
• $\mathrm{Var}[Y_k]=\mathrm{Var}[X_k-\mathbb{E}[X_k]]=\mathrm{Var}[X_k]$ (因为 $\mathbb{E}[X_k]$ 是常数)。
• 定理的条件变为 ${\sum }_{n=1}^{\infty }\frac{\mathrm{Var}[Y_n]}{n^2}<\infty$。
• 我们需要证明的目标等价于 $P\left({\lim }_{n\to \infty }\frac{1}{n}{\sum }_{k=1}^n{Y}_k=0\right)=1$

因此，在后续证明中，我们直接假设 $\mathbb{E}[X_k]=0$，并记 $S_n={\sum }_{k=1}^n{X}_k$。我们的目标是证明 $P\left({\lim }_{n\to \infty }\frac{S_n}{n}=0\right)=1$

步骤 2：引入克罗内克引理

克罗内克引理 (Kronecker’s Lemma): 若 $\{x_k\}$ 是实数序列，$\{b_k\}$ 是正的单调递增序列且 $b_k\to \infty$。如果级数 ${\sum }_{k=1}^{\infty }\frac{x_k}{b_k}$ 收敛，则 ${\lim }_{n\to \infty }\frac{1}{b_n}{\sum }_{k=1}^n{x}_k=0$。

• 我们将克罗内克引理应用于 $x_k=X_k$ (其中 $\mathbb{E}[X_k]=0$) 和 $b_k=k$ (显然 $k>0$, 单调递增且 $k\to \infty$)。
• 根据克罗内克引理，如果我们可以证明级数 ${\sum }_{k=1}^{\infty }\frac{X_k}{k}$ 几乎必然收敛 (converges almost surely, a.s.)，那么就能得到 ${\lim }_{n\to \infty }\frac{1}{n}{\sum }_{k=1}^n{X}_k=0$ 几乎必然成立，从而证明定理。

---

步骤 3：证明 ${\sum }_{k=1}^{\infty }\frac{X_k}{k}$ 几乎必然收敛

现在，我们的关键任务是证明级数 ${\sum }_{k=1}^{\infty }\frac{X_k}{k}$ 几乎必然收敛。 我们将使用柯尔莫哥洛夫不等式来达到这个目的。

1. 定义新变量: 令 $Z_k=\frac{X_k}{k}$。

   • 由于 $X_k$ 相互独立且 $\mathbb{E}[X_k]=0$，则 $Z_k$ 也相互独立。
   • $\mathbb{E}[Z_k]=\mathbb{E}[\frac{X_k}{k}]=\frac{1}{k}\mathbb{E}[X_k]=0$。
   • $\mathrm{Var}[Z_k]=\mathrm{Var}[\frac{X_k}{k}]=\frac{1}{k^2}\mathrm{Var}[X_k]$。

2. 利用定理条件: 根据定理的假设，我们有：

   $$\sum _{k=1}^{\infty }\mathrm{Var}[Z_k]=\sum _{k=1}^{\infty }\frac{\mathrm{Var}[X_k]}{k^2}<\infty$$

3. 应用柯尔莫哥洛夫不等式: 令 $U_n={\sum }_{k=1}^n{Z}_k$。我们要证明序列 $\{U_n\}$ 几乎必然收敛。根据随机变量序列的柯西收敛准则，这等价于证明尾部和几乎必然趋于 0。

   考虑对于任意 $\epsilon >0$，尾部和的概率： $P\left({\sup }_{m>N}|U_m-U_N|\ge \epsilon \right)=P\left({\sup }_{m>N}\left|{\sum }_{k=N+1}^m{Z}_k\right|\ge \epsilon \right)$

   对于任意固定的 $M>N$，我们可以对独立变量 $Z_{N+1},\dots ,Z_M$ (它们的期望为 0) 应用 引理 5.1.2 (柯尔莫哥洛夫不等式):

   $$P\left(\underset{N<m\le M}{\max }\left|\sum _{k=N+1}^m{Z}_k\right|\ge \epsilon \right)\le \frac{{\sum }_{k=N+1}^M\mathrm{Var}[Z_k]}{{\epsilon }^2}$$

   由于右侧不等式对所有 $M>N$ 成立，并且 ${\sum }_{k=N+1}^M\mathrm{Var}[Z_k]\le {\sum }_{k=N+1}^{\infty }\mathrm{Var}[Z_k],$我们可以令 $M\to \infty$。 设 $E_M=\{{\max }_{N<m\le M}|{\sum }_{k=N+1}^m{Z}_k|\ge \epsilon \}$ 则 $E_M$ 是递增事件序列，其并集为 $A_N=\{{\sup }_{m>N}|{\sum }_{k=N+1}^m{Z}_k|\ge \epsilon \}$。根据概率的下连续性：

$$\begin{array}{rl}P(A_N)& =P\left(\underset{m>N}{\sup }\left|\sum _{k=N+1}^m{Z}_k\right|\ge \epsilon \right)\\ & =\underset{M\to \infty }{\lim }P(E_M)\\ & \le \frac{{\sum }_{k=N+1}^{\infty }\mathrm{Var}[Z_k]}{{\epsilon }^2}.\end{array}$$

4. 得出收敛性: 令 ${\tau }_N={\sum }_{k=N+1}^{\infty }\mathrm{Var}[Z_k]$。因为 ${\sum }_{k=1}^{\infty }\mathrm{Var}[Z_k]<\infty$，所以当 $N\to \infty$ 时，级数尾部和 ${\tau }_N\to 0$。 因此，对于任意 $\epsilon >0$： $$\underset{N\to \infty }{\lim }P\left(\underset{m>N}{\sup }|U_m-U_N|\ge \epsilon \right)\le \underset{N\to \infty }{\lim }\frac{{\tau }_N}{{\epsilon }^2}=0$$ 这表明序列 $U_n={\sum }_{k=1}^n{Z}_k$ 是一个几乎必然柯西序列 (Cauchy sequence almost surely)。根据实数完备性，柯西序列必然收敛。 所以，级数 ${\sum }_{k=1}^{\infty }{Z}_k={\sum }_{k=1}^{\infty }\frac{X_k}{k}$ 几乎必然收敛。

---

步骤 4：应用克罗内克引理

• 我们已经在步骤 3 中证明了 ${\sum }_{k=1}^{\infty }\frac{X_k}{k}$ 几乎必然收敛 (在 $\mathbb{E}[X_k]=0$ 的假设下)。
• 根据克罗内克引理，令 $x_k=X_k$ 且 $b_k=k$。我们有：
  • ${\sum }_{k=1}^{\infty }\frac{x_k}{b_k}={\sum }_{k=1}^{\infty }\frac{X_k}{k}$ 几乎必然收敛。
  • $b_k=k$ 是正的、单调递增且 $b_k\to \infty$。
• 应用引理结论： $$\underset{n\to \infty }{\lim }\frac{1}{b_n}\sum _{k=1}^n{x}_k=\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n{X}_k=0\text{(几乎必然)}$$

---

步骤 5：结论

我们已经证明了，在 $\mathbb{E}[X_k]=0$ 的假设下，${\lim }_{n\to \infty }\frac{1}{n}{\sum }_{k=1}^n{X}_k=0$ 几乎必然成立。 将此结果应用回中心化的变量 $Y_k=X_k-\mathbb{E}[X_k]$，我们得到：

$$\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n{Y}_k=\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n(X_k-\mathbb{E}[X_k])=0\text{(几乎必然)}$$

这等价于：

$$P\left(\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n\left(X_k-\mathbb{E}[X_k]\right)=0\right)=1.$$

定理证毕。 Q.E.D.