经验误差的期望等于泛化误差

我们可以注意到，对于固定的 $h\in \mathcal{H}$ ，基于独立同分布的样本 $S$ 的实证误差的期望样本 等于泛化误差：

$${\mathbb{E}}_{S\sim {\mathcal{D}}^m}\left[{\hat{R}}_S\left(h\right)\right]=R\left(h\right)\text{\hspace{1em}(2.3)}$$

\begin{proof} 由于期望的线性以及样本是独立同分布抽取的，我们可以写出

$$\begin{array}{rl}\underset{S\sim {\mathcal{D}}^m}{\mathbb{E}}\left[{\hat{R}}_S\left(h\right)\right]& =\frac{1}{m}\sum _{i=1}^m\underset{S\sim {\mathcal{D}}^m}{\mathbb{E}}\left[1_{h\left(x_i\right)\ne c\left(x_i\right)}\right]\\ & =\frac{1}{m}\sum _{i=1}^m\underset{S\sim {\mathcal{D}}^m}{\mathbb{E}}\left[1_{h\left(x\right)\ne c\left(x\right)}\right],\end{array}$$

对于样本 $x$ 中的任何 $S$ 成立。 因此，

$$\begin{array}{rl}\underset{S\sim {\mathcal{D}}^m}{\mathbb{E}}\left[{\hat{R}}_S\left(h\right)\right]& =\underset{S\sim {\mathcal{D}}^m}{\mathbb{E}}\left[1_{h\left(x\right)\ne c\left(x\right)}\right]\\ & =\underset{x\sim \mathcal{D}}{\mathbb{E}}\left[1_{h\left(x\right)\ne c\left(x\right)}\right]=R\left(h\right).\end{array}$$

\end{proof}