我们首先介绍几个定义和表示PAC模型所需的符号,这些定义和符号在本书的许多部分也将被使用。

  • 表示所有可能的示例或实例的集合。 有时也被称为输入空间
  • 所有可能的标签或目标值的集合用 表示。
    • 为了本章的介绍目的,我们将自己限制在 仅限于两个标签 的情况,这对应于所谓的二分类
  • 后续章节将把这些结果扩展到更一般的设置。


  • 的经验误差是其样本 上的平均误差,
  • 而泛化误差是基于分布 的期望误差。
  • 我们将在本章及接下来的章节中看到: 许多关于这两个量在高概率下与一些一般性假设相关的保证。
  • 经验误差的期望等于泛化误差