经验误差 (empirical error)

假设的 泛化误差 (generalization error) 对学习者来说不是直接可访问的，因为分布 $\mathcal{D}$ 和目标概念 $c$ 都是未知的。然而，学习者可以在标记样本 $S$ 上测量假设的经验误差。

经验误差

给定一个假设 $h\in \mathcal{H}$ ，一个目标概念 $c\in \mathcal{C}$ ，以及一个样本 $S=\left(x_1,\dots ,x_m\right)$ ，经验误差或 $h$ 的经验风险定义为

$${\hat{R}}_S\left(h\right)=\frac{1}{m}\sum _{i=1}^m{1}_{h\left(x_i\right)\ne c\left(x_i\right)}.\text{\hspace{1em}(2.2)}$$