内容

• 4.1 估计和逼近误差
• 4.2 经验风险最小化(ERM)
• 4.3 结构风险最小化(SRM)
• 4.4 交叉验证
• 4.5 n-折交叉验证
• 4.6 基于正则化的算法
• 4.7 凸替代损失
• 4.8 章节笔记
• 4.9 练习

简介

学习算法设计中一个关键问题是假设集 $\mathcal{H}$ 的选择。这被称为 模型选择问题。

• 应该如何选择假设集 $\mathcal{H}$？
• 一个丰富或足够复杂的假设集可能包含理想的贝叶斯分类器。
• 另一方面，使用如此复杂的假设族进行学习变得非常困难。
  • 更一般地说，$\mathcal{H}$ 的选择受到一种权衡的影响，这种权衡可以通过估计和逼近误差来分析。

我们的讨论将集中在二元分类的特殊情况，但所讨论的大部分内容可以直接推广到不同的任务和损失函数。