这个界限建议在减少经验误差与控制假设集大小之间寻求平衡:

  • 较大的假设集会受到第二项的惩罚, 但可能有助于减少第一项经验误差。
  • 但是,在相似的经验误差下,它建议使用较小的假设集。

这可以被视为所谓的奥卡姆剃刀原则的一个实例,该原则以神学家威廉·奥卡姆的名字命名:

  • 若无必要,不应假设多样,
  • 也可以重述为,最简单的解释是最好的。
  • 在这个背景下,它可以表达如下:在其他条件相同的情况下,更简单(更小)的假设集是更好的。
  • 回顾 1.6 泛化 的例子