我们从一些微分的基本定义开始,这些定义对于提出费马定理和描述凸函数的一些性质是必要的。

定义 B.1 梯度

是一个可微函数。那么, 处的梯度是 中的向量,表示为 ,并定义为

定义 B.2 Hessian

是一个二阶可微函数。那么, 处的Hessian矩阵是 中的矩阵,表示为 ,并定义为

接下来,我们介绍无约束优化的一个经典结果。

定理 B.3 费马定理

: 是一个可微函数。如果 处有一个局部极值,那么 ,即 是一个驻点。