定理 6.3.1 (抽样分布基本定理)

定理 6.3.1 (抽样分布基本定理)

设总体 $X\sim N\left(0,1\right)$, $\left(X_1,X_2,\cdots ,X_n\right)$ 为其样本, 则

• 样本均值 $\bar{X}\sim N\left(0,\frac{1}{n}\right)$,
• $n{S}_n^2\sim {\chi }^2\left(n-1\right)$,
• $\bar{X}$ 与 $S_n^2$ 相互独立.

证明

1. 样本均值 $\bar{X}$ 的分布

样本均值的定义为：

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

由于 $X_i\sim N(0,1)$，线性组合的正态性性质表明：

$$\bar{X}\sim N\left(0,\frac{1}{n}\right)$$

证明：

• 均值：$\mathbb{E}[\bar{X}]=\frac{1}{n}{\sum }_{i=1}^n\mathbb{E}[X_i]=0$。
• 方差：$Var(\bar{X})=\frac{1}{n^2}{\sum }_{i=1}^{n}Var(X_i)=\frac{1}{n}$。
  因此，$\bar{X}\sim N\left(0,\frac{1}{n}\right)$ ¹²。

2. 样本方差 $n{S}_n^2$ 的卡方分布

样本方差定义为：

$$S_n^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

需证明：

$$n{S}_n^2=\sum _{i=1}^n(X_i-\bar{X}{)}^2\sim {\chi }^2(n-1)$$

1. 直观思路

$Z_i$ 独立且标准正态，${\sum }_{i=1}^n{Z}_i^2\sim {\chi }^2(n)$。去掉均值后，$\{Z_i-\bar{Z}\}$ 之间有线性约束（${\sum }_{i=1}^n(Z_i-\bar{Z})=0$），因此只有 $n-1$ 个自由度。我们要证明这些变量的平方和服从 ${\chi }^2(n-1)$。

2. 正交变换法

步骤一：构造正交变换

将 $Z_1,\dots ,Z_n$ 线性正交变换为 $Y_1,\dots ,Y_n$，其中

• $Y_1=\sqrt{n}\bar{Z}$
• $Y_2,\dots ,Y_n$ 是 $Z_i$ 的其他正交线性组合，且满足 ${\sum }_{i=1}^n(Z_i-\bar{Z}{)}^2=Y_2^2+\cdots +Y_n^2$

由于正交变换保持正态性和独立性，且 $Z_i$ 独立标准正态，所以 $Y_2,\dots ,Y_n$ 也是独立标准正态。

步骤二：平方和分解

$$\sum _{i=1}^n{Z}_i^2=Y_1^2+Y_2^2+\cdots +Y_n^2$$ $$\sum _{i=1}^n(Z_i-\bar{Z}{)}^2=Y_2^2+\cdots +Y_n^2$$

$Y_2,\dots ,Y_n$ 独立且 $N(0,1)$，所以

$$\sum _{i=1}^n(Z_i-\bar{Z}{)}^2\sim {\chi }^2(n-1)$$

3. 直接计算协方差矩阵

$\mathbf{Z}=(Z_1,\dots ,Z_n{)}^{\top }$，$\mathbf{P}={\mathbf{I}}_n-\frac{1}{n}{1}_n{1}_n^{\top }$ 是投影矩阵，则

$$Q=(\mathbf{Z}-\bar{Z}{1}_n{)}^{\top }(\mathbf{Z}-\bar{Z}{1}_n)={\mathbf{Z}}^{\top }\mathbf{PZ}$$

$\mathbf{P}$ 是秩为 $n-1$ 的对称幂等矩阵，$Q$ 是 $n-1$ 维正态的平方和，即 ${\chi }^2(n-1)$。

3. $\bar{X}$ 与 $S_n^2$ 的独立性

证明： 利用正交投影的几何性质。将样本向量 $\mathbf{X}=(X_1,\dots ,X_n)$ 投影到均值方向 $\mathbf{e}=(1,\dots ,1)$ 和其正交补空间：

$$\mathbf{X}=\bar{X}\mathbf{e}+(\mathbf{X}-\bar{X}\mathbf{e})$$

由于正态向量的正交投影相互独立，$\bar{X}$ 与残差向量 $\mathbf{X}-\bar{X}\mathbf{e}$ 独立。而 $S_n^2$ 是残差的函数，故 $\bar{X}$ 与 $S_n^2$ 独立³²⁴。

总结

1. 样本均值的正态性：由正态分布的线性组合性质直接得出。
2. 样本方差的卡方分布：通过正交变换将平方和分解为独立正态变量的平方和。
3. 独立性：正交投影分解的几何性质保证了均值与残差的独立性。

这些结论共同构成了正态样本下均值与方差的核心性质。

Footnotes

1. https://amsi.org.au/ESA_Senior_Years/SeniorTopic4/4h/4h_2content_8.html ↩

2. https://www2.stat.duke.edu/courses/Fall18/sta611.01/Lecture/lec12_mean_var_indep.pdf ↩ ↩²

3. https://uregina.ca/~kozdron/Teaching/Regina/351Fall09/Handouts/indSRS.pdf ↩

4. https://stats.stackexchange.com/questions/596314/whats-the-intuition-behind-the-fact-that-sample-mean-and-sample-variance-are-in ↩