1
最早的大数定律是伯努利大数定律 (参见推论 5.1.1, 发表于 1713 年). 它从理论上阐明了事件 发生的 “频率稳定于概率” 的含义. 而后的博雷尔强大数定律 (参见推论 5.1.2, 发表于 1909 年), 更清晰地解释了概率的统计定义的含义. 推而广之, 大数定律回答何时一个随机序列的算术平均值会在某种意义下收敛寸某一确定实数列的算术平均值. 由于随机变量序列以概率 1 收敛必然依概率收敛, 所以若依概率收敛 (参见 (5.1.2)), 则称为弱大数定律成立. 若以概率 1 收敛 (参见 (5.1.3)), 则称为强大数定律成立.
对于大数定律问题的回答, 一般都只能给出使大数定律成立的充分条件, 很难给出必要条件. 另外, 弱大数定律在建立了较为弱的不等式 (参见引理 5.1.1) 之后, 就可以得到相应的大数定律. 但对强大数定律, 要有更强的不等式估计 (参见引理 5.1.2) 和较为复杂的证明才能得到.
需要强调指出的是, 大数定律的结论是某事实成立的概率 (或其极限) 为 0 或 1. 在实际问题和理论分析时, 我们都认为概率为 0 的事件, 每次试验都近乎不会发生; 而概率为 1 的事件, 每次试验近乎必然发生. 即大数定律回答的问题是何时随机事件在试验次数很大时近乎必然发生或不发生, 这在理论和实际应用上都是十分有意义的.
2
中心极限定理回答的问题,首先是想把诸如伯努利大数定律所对应的伯努利试验的随机变量序列 (即 0,1 随机序列) 的部分和的情形, 推广到一般的随机变量序列部分和的情形. 为了避免出现部分和序列趋于无穷的情形, 自然地, 减去部分和的均值后再除它的标准差, 得到标准化形式. 正如一个正态随机变量减去其期望再除标准差后, 为标准正态的随机变量, 所以中心极限定理回答的问题是, 随机变量序列的部分和标准化后何时以概率 1 收敛到我们熟悉的标准正态随机变量.
本章中仅给出使中心极限定理成立的充分条件, 并且其证明需要引进诸如特征函数等数学工具, 故也略去了. 但需指出, 经过前人不懈的努力, 找到了中心极限定理成立的充要条件, 该条件大致可以叙述为: 若独立随机变量序列有有限的方差, 各分量都很小且 “均匀的小”.
中心极限定理的事实解释了为何正态分布的随机变量是极为常见的, 因为无论满足条件的随机变量序列的每个分量服从何种分布, 它们的部分和的标准化将收敛于标准正态分布.
历史上, 大数定律和中心极限定理还用来做二项分布概率的近似计算 (参见例 5.2.2), 这一点有了方便的计算机软件可用, 意义就不是很大了.
3
无论大数定律还是中心极限定理, 其中有一个关键的条件, 那就是随机变量序列的独立性. 从这点讲, 大数定律和中心极限定理都属初等的概率论的范畴.