结构风险最小化(SRM)技术归功于Vapnik [1998]。Vapnik [1998] 最初使用的惩罚项是基于假设集的VC维。我们在这里呈现的基于Rademacher复杂度惩罚的SRM版本,导致更精细的数据依赖性学习保证。基于其他复杂性度量的惩罚也可以类似使用,从而得到关于相应复杂性度量的学习界限 [Bartlett et al., 2002a]。

最近,Cortes、Mohri 和 Syed [2014] 以及其他相关出版物 [Kuznetsov et al., 2014, DeSalvo et al., 2015, Cortes et al., 2015] 开发了另一种投票风险最小化(VRM)的模型选择理论。

定理 4.7 归功于Zhang [2003a]。这里的证明有所不同,更为简单。