证明 标准化样本均值在大样本下的近似正态性 (方差未知)

目标： 证明一般地，设 $X_1,...,X_n$ 是从具有期望 $E[X]=\mu$ 和有限方差 $Var(X)={\sigma }^2>0$ 的分布 $F_X(\cdot ,\theta )$ 中抽取的独立同分布 (i.i.d.) 随机样本。令 $\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 为样本均值，$S_n^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$ 为无偏样本方差（$S_n=\sqrt{S_n^2}$ 为样本标准差）。我们需要证明，当样本容量 $n$ 充分大时，近似地有： $T_n=\frac{\bar{X}-E[X]}{S_n/\sqrt{n}}\sim N(0,1)(\text{近似地})$ 更准确地说，我们要证明 $T_n$ 在分布上收敛于标准正态分布 $N(0,1)$，即 $T_n\stackrel{d}{\to }N(0,1)$ as $n\to \infty$。

所需关键定理：

1. 中心极限定理 (Central Limit Theorem, CLT): 对于具有有限均值 $\mu$ 和有限方差 ${\sigma }^2$ 的任意分布，其 i.i.d. 样本的均值 $\bar{X}$ 经过标准化后，当 $n\to \infty$ 时在分布上收敛于标准正态分布。即： $Z_n=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\stackrel{d}{\to }Z\sim N(0,1)$
2. 大数定律 (Law of Large Numbers, LLN): 样本矩依概率收敛于相应的总体矩。具体地，无偏样本方差 $S_n^2$ 依概率收敛于总体方差 ${\sigma }^2$。 $S_n^2\stackrel{p}{\to }{\sigma }^2\text{as }n\to \infty$
3. 连续映射定理 (Continuous Mapping Theorem): 若 $g$ 是连续函数，且 $A_n\stackrel{p}{\to }a$，则 $g(A_n)\stackrel{p}{\to }g(a)$。若 $A_n\stackrel{d}{\to }A$，则 $g(A_n)\stackrel{d}{\to }g(A)$。
4. 斯卢茨基定理 (Slutsky’s Theorem): 若 $A_n\stackrel{d}{\to }A$ 且 $B_n\stackrel{p}{\to }b$ (其中 $b$ 是常数)，则：
   • $A_n+B_n\stackrel{d}{\to }A+b$
   • $A_n{B}_n\stackrel{d}{\to }Ab$
   • $A_n/B_n\stackrel{d}{\to }A/b$ (若 $b\ne 0$)

证明步骤：

1. 应用中心极限定理:

   • 根据题设，$X_1,...,X_n$ 是 i.i.d. 样本，具有有限均值 $\mu =E[X]$ 和有限方差 ${\sigma }^2=Var(X)$。
   • 由中心极限定理，我们知道： $Z_n=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\stackrel{d}{\to }Z\sim N(0,1)\text{as }n\to \infty$

2. 应用大数定律于样本方差:

   • 无偏样本方差为 $S_n^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$。
   • 根据大数定律，样本方差依概率收敛于总体方差： $S_n^2\stackrel{p}{\to }{\sigma }^2\text{as }n\to \infty$
   • 由于函数 $g(x)=\sqrt{x}$ 在 $x>0$ 时是连续的，根据连续映射定理（应用于依概率收敛）： $S_n=\sqrt{S_n^2}\stackrel{p}{\to }\sqrt{{\sigma }^2}=\sigma \text{as }n\to \infty$ (这里我们假设 ${\sigma }^2>0$，即 $\sigma >0$)。

3. 应用斯卢茨基定理:

   • 我们要考察的统计量是 $T_n=\frac{\bar{X}-\mu }{S_n/\sqrt{n}}$。
   • 将 $T_n$ 进行改写，使其与 $Z_n$ 建立联系： $T_n=\frac{\bar{X}-\mu }{S_n/\sqrt{n}}=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\cdot \frac{\sigma /\sqrt{n}}{S_n/\sqrt{n}}=\left(\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\right)\cdot \left(\frac{\sigma }{S_n}\right)$ $T_n=Z_n\cdot \frac{\sigma }{S_n}$
   • 我们已经知道：
     • $Z_n\stackrel{d}{\to }Z\sim N(0,1)$ （来自步骤 1）。
     • $S_n\stackrel{p}{\to }\sigma$ （来自步骤 2）。
   • 考虑因子 $\frac{\sigma }{S_n}$。由于 $S_n\stackrel{p}{\to }\sigma$ 且 $\sigma$ 是一个非零常数，根据依概率收敛的性质以及连续映射定理（对于函数 $g(x)=1/x$，在 $x=\sigma \ne 0$ 处连续）： $\frac{S_n}{\sigma }\stackrel{p}{\to }\frac{\sigma }{\sigma }=1$ $\frac{\sigma }{S_n}\stackrel{p}{\to }\frac{\sigma }{\sigma }=1$
   • 现在我们有 $T_n=Z_n\cdot (\sigma /S_n)$，其中 $Z_n\stackrel{d}{\to }N(0,1)$ 且 $(\sigma /S_n)\stackrel{p}{\to }1$。
   • 应用斯卢茨基定理（$A_n\stackrel{d}{\to }A$, $B_n\stackrel{p}{\to }b⟹A_n{B}_n\stackrel{d}{\to }Ab$）： $T_n=Z_n\cdot \frac{\sigma }{S_n}\stackrel{d}{\to }Z\cdot 1=Z$
   • 因为 $Z\sim N(0,1)$，所以我们证明了： $\frac{\bar{X}-E[X]}{S_n/\sqrt{n}}\stackrel{d}{\to }N(0,1)\text{as }n\to \infty$

结论：

该证明表明，即使总体方差 ${\sigma }^2$ 未知，只要我们用其一致估计量（样本标准差 $S_n$）来替换中心极限定理中的 $\sigma$，得到的统计量 $T_n=\frac{\bar{X}-\mu }{S_n/\sqrt{n}}$ 在大样本条件下 ($n\to \infty$) 的极限分布仍然是标准正态分布 $N(0,1)$。

这就是为什么在样本容量 $n$ 充分大时，我们可以近似地认为 $\frac{\bar{X}-E[X]}{S_n/\sqrt{n}}\sim N(0,1)$，并基于此进行关于总体均值 $E[X]$ 的假设检验或构造置信区间（此时通常可以直接使用正态分布的临界值，或自由度很大的 t 分布临界值，因为 $t(df)\to N(0,1)$ as $df\to \infty$）。这个结果不要求总体必须是正态分布，只需要均值和方差有限即可，体现了中心极限定理和相关极限定理的强大威力。