PAC学习框架由Valiant [1984] 引入。Kearns和Vazirani [1994] 的书是处理PAC学习大多数方面和机器学习中几个其他基本问题的优秀参考。我们关于学习轴对齐矩形的例子，也在该参考文献中讨论，最初是由Blumer等人 [1989] 提出的。
PAC学习框架是一个计算框架，因为它考虑了计算表示的成本和 learning 算法的时间复杂度。如果我们忽略计算方面，它与Vapnik和Chervonenkis [参见Vapnik, 2000] 之前考虑的学习框架相似。本章中提出的噪声定义可以推广到任意的损失函数（见练习2.14）。
奥卡姆剃刀原则在各种情境中被引用，例如在语言学中证明一套规则或语法的优越性。科尔莫哥洛夫复杂性可以被视为信息理论中相应的框架。在学习保证的背景下，该原则建议选择最节约的解释（具有最小基数的假设集）。在接下来的章节中，我们将看到这个原则在其他原则上的应用，以及不同简单性或复杂性的概念。