我们首先介绍几个定义和表示PAC模型所需的符号,这些定义和符号在本书的许多部分也将被使用。
- 表示所有可能的示例或实例的集合。 有时也被称为输入空间。
- 所有可能的标签或目标值的集合用 表示。
- 为了本章的介绍目的,我们将自己限制在 仅限于两个标签 的情况,这对应于所谓的二分类。
- 后续章节将把这些结果扩展到更一般的设置。
- 概念 (concept)
- 假设示例是独立同分布的(i.i.d.),根据某个固定的但未知的分布 进行采样。
- 我们将描述 学习问题 (learning problem)
- 的经验误差是其样本 上的平均误差,
- 而泛化误差是基于分布 的期望误差。
- 我们将在本章及接下来的章节中看到: 许多关于这两个量在高概率下与一些一般性假设相关的保证。
- 经验误差的期望等于泛化误差
- 接下来介绍 可能近似正确学习 (PAC-learning)。
- 我们现在用一个特定的学习问题来说明 PAC 学习。
- 示例 2.4(学习轴对齐矩形)(learning axis-aligned rectangles)