4.9 练习

4.1 对于任何假设集$\mathcal{H}$，证明以下不等式成立:

$$\underset{S\sim {\mathcal{D}}^m}{\mathbb{E}}\left[{\hat{R}}_S\left(h_S^{\mathrm{ERM}}\right)\right]\le \underset{h\in \mathcal{H}}{\inf }R\left(h\right)\le \underset{S\sim {\mathcal{D}}^m}{\mathbb{E}}\left[R\left(h_S^{\mathrm{ERM}}\right)\right]\text{\hspace{1em}(4.13)}$$

4.2 证明对于平方损失$\Phi \left(u\right)={\left(1+u\right)}^2$，定理4.7的陈述对于$s=2$和$c=\frac{1}{2}$成立，因此过剩误差可以如下上界:

有界如下:

$$R\left(h\right)-R^{\ast }\le {\left[{\mathcal{L}}_{\Phi }\left(h\right)-{\mathcal{L}}_{\Phi }^{\ast }\right]}^{\frac{1}{2}}.$$

4.3 证明对于平方折页损失$\Phi \left(u\right)=\max {\left(0,1+u\right)}^2$，定理4.7的陈述对于$s=2$和$c=\frac{1}{2}$成立，因此过剩误差可以如下上界:

$$R\left(h\right)-R^{\ast }\le {\left[{\mathcal{L}}_{\Phi }\left(h\right)-{\mathcal{L}}_{\Phi }^{\ast }\right]}^{\frac{1}{2}}.$$

4.4 在这个问题中，点$\left(x,y\right)\in X\times \{-1,+1\}$处的$h:X\to \mathbb{R}$损失被定义为$1_{yh\left(x\right)\le 0}$。

(a) 定义贝叶斯分类器以及针对这种损失的贝叶斯评分函数$h^{\ast }$。

(b) 用$h^{\ast }$(此处考虑的损失的引理4.5的对偶)表示$h$的过剩误差。

(c) 给出这种损失对应的定理4.7的结果的对偶。

4.5 与练习4.5中的问题相同，但点$\left(x,y\right)\in$处的$h:X\to \mathbb{R}$损失$X\times \{-1,+1\}$被重新定义为$1_{yh\left(x\right)<0}$。