2.4.2 贝叶斯误差与噪声

• 在确定性情况下，根据定义，存在一个目标函数 $f$ 没有泛化误差：$R\left(h\right)=0$。
• 在随机情况下，对于任何假设都存在一个最小的非零误差。

---

定义2.15（贝叶斯误差）

给定一个关于 $\mathcal{X}\times \mathcal{Y}$ 的分布 $\mathcal{D}$， 贝叶斯误差 $R^{\ast }$ 被定义为可测函数 $h:\mathcal{X}\to \mathcal{Y}$ 达到的误差的下确界： {R}^{ \star } = \mathop{\inf }\limits_{\substack{h \\ {h\text{ measurable }} }}R\left( h\right) \tag{2.22} 一个假设 $h$ 满足 $R\left(h\right)=R^{\ast }$ 被称为 贝叶斯假设 或 贝叶斯分类器。

根据定义，

• 在确定性情况下，我们有 $R^{\ast }=0$，
• 但在随机情况下，$R^{\ast }\ne 0$。

---

• 贝叶斯分类器 $h_{\text{Bayes }}$ 可以根据条件概率来定义：

\forall x \in X,\;{h}_{\text{Bayes }}\left( x\right) = \mathop{\operatorname{argmax}}\limits_{y \in \{ 0,1\} }\mathbb{P}\left\lbrack {y \mid x}\right\rbrack \tag{2.23}$$ - ${h}_{\text{Bayes }}$ 在 $x \in X$ 上的平均误差是 $\min \{ \mathbb{P}\left\lbrack {0 \mid x}\right\rbrack ,\mathbb{P}\left\lbrack {1 \mid x}\right\rbrack \}$ - 这是可能的最小误差。 --- 这导致了以下关于噪声的定义。 > [!definition] 定义2.16（噪声） > > 给定一个关于 $\mathcal{X} \times \mathcal{Y}$ 的分布$\mathcal{D}$， > 在点 $x \in \mathcal{X}$ 的 **噪声** 定义为 > $$\operatorname{noise}\left( x\right) = \min \{ \mathbb{P}\left\lbrack {1 \mid x}\right\rbrack ,\mathbb{P}\left\lbrack {0 \mid x}\right\rbrack \} . \tag{2.24}$$ > **平均噪声** 或 **与 $\mathcal{D}$ 相关的噪声** 是 $\mathbb{E}\left\lbrack {\operatorname{noise}\left( x\right) }\right\rbrack$ 。 - 因此，平均噪声恰好就是贝叶斯误差： $$\text{noise} = \mathbb{E}\left\lbrack {\operatorname{noise}\left( x\right) }\right\rbrack = {R}^{ * }$$ - 噪声是学习任务的一个特征，表示其难度水平。 - 一个点 $x \in \mathcal{X}$ ，其噪声 $\text{noise} \left( x\right)$ 接近 $1/2$ ，有时被称为**噪声点**， 显然对于精确预测是一个挑战。